A Fireworks.ai, uma startup de IA generativa, lançou o mecanismo de inferência mais rápido e eficiente até o momento. A empresa depende de sistemas de IA compostos, que substituem os modelos tradicionais de IA única por vários modelos que interagem. A Fireworks.ai fez parceria com o Google Cloud e outros parceiros, como a NVIDIA, para fornecer soluções econômicas e escalonáveis. O Google Cloud ajuda a Fireworks.ai a processar mais de 140 bilhões de tokens diariamente com 99,99% de tempo de atividade da API. A Fireworks.ai também usa os serviços do Google Cloud, como Cloud Pub/Sub, Cloud Functions, Cloud Monitoring e BigQuery, para otimizar o desempenho e reduzir custos. Graças a essa parceria, a Fireworks.ai conseguiu oferecer latência 4 vezes menor e taxa de transferência 4 vezes maior em comparação com os serviços hospedados concorrentes. A Fireworks.ai enfatiza a importância do acesso de código aberto à IA e trabalha com o Google Cloud para permitir que mais empresas gerem valor com usos inovadores da IA generativa.