O Google Cloud anunciou que o Google Kubernetes Engine (GKE) agora oferece suporte para até 65.000 nós, permitindo que ele lide com modelos de IA enormes com trilhões de parâmetros. À medida que a IA generativa evolui, a necessidade de enorme poder computacional para treinar esses modelos se intensifica. O GKE agora oferece uma escala mais de 10 vezes maior do que os outros dois maiores provedores de nuvem pública, permitindo que os clientes reduzam o tempo de treinamento do modelo ou escalem os modelos para vários trilhões de parâmetros. Essa expansão também permite executar cinco trabalhos em um único cluster, cada um correspondendo à escala do recorde mundial anterior do Google Cloud para o maior trabalho de treinamento para LLMs. Clientes como a Anthropic, uma empresa de pesquisa e segurança de IA, receberam bem esses desenvolvimentos. Tecnicamente, o GKE está em transição do etcd de código aberto, um armazenamento de valores-chave distribuído, para um novo armazenamento de valores-chave mais robusto baseado no Spanner, o banco de dados distribuído do Google. Essa mudança inaugurará novos níveis de confiabilidade para os usuários do GKE, melhorando a latência das operações do cluster. Além disso, graças a uma grande revisão da infraestrutura do GKE que gerencia o plano de controle do Kubernetes, o GKE agora escala significativamente mais rápido. O Google Cloud também mantém seu compromisso com o código aberto, garantindo que todas as otimizações e melhorias necessárias para tal escala façam parte do Kubernetes de código aberto principal.
GKE escala para 65.000 nós para modelos de IA com trilhões de parâmetros
Google Cloud