O Google Cloud anunciou poderosas inovações em infraestrutura para o seu futuro com foco em IA, incluindo a TPU de sexta geração, Trillium, as VMs A3 Ultra com GPUs NVIDIA H200 Tensor Core, o Hypercompute Cluster, as VMs C4A baseadas em processadores Axion personalizados, melhorias na rede de data centers Jupiter e no recurso de descarga de host Titanium e o serviço de armazenamento Hyperdisk ML. Essas melhorias visam aprimorar o desempenho da infraestrutura de IA, a facilidade de uso e a relação custo-benefício para os clientes. O Trillium oferece melhorias significativas de desempenho em relação ao TPU v5e, incluindo melhoria de mais de 4x no desempenho de treinamento, aumento de até 3x na taxa de transferência de inferência e aumento de 67% na eficiência energética. As VMs A3 Ultra foram projetadas para oferecer um salto significativo no desempenho em relação às gerações anteriores, com o dobro da largura de banda de rede GPU para GPU e desempenho de inferência LLM até 2x maior. O Hypercompute Cluster simplifica o gerenciamento de clusters de aceleradores de IA, permitindo implantações confiáveis e repetíveis por meio de uma única chamada de API. As VMs C4A já estão disponíveis, oferecendo desempenho e eficiência aprimorados para uma ampla gama de cargas de trabalho de uso geral. O Titanium e a rede Jupiter foram aprimorados para oferecer suporte a cargas de trabalho de IA, com o novo adaptador de rede Titanium ML fornecendo 3,2 Tbps de tráfego GPU para GPU por meio do RoCE. O Hyperdisk ML já está disponível, fornecendo armazenamento de alto desempenho para cargas de trabalho de IA e HPC, com tempos de carregamento de dados mais rápidos e maior relação custo-benefício.