O Google Cloud anunciou um novo recurso no Dataflow que permite leituras de fontes personalizadas com balanceamento de carga, com o objetivo de reduzir custos e aumentar a eficiência. Isso surge como uma solução bem-vinda para o desafio de escalonar cargas de trabalho, especialmente em ambientes de streaming onde a latência é monitorada de perto.
Muitas estratégias modernas de ajuste automático têm dificuldades para lidar com chaves ou workers quentes que criam gargalos no processamento e geram backlogs, impactando a atualização dos dados. Por exemplo, um ambiente de streaming como o Apache Kafka pode criar pontos de acesso críticos no pipeline. Um autoscaler pode tentar compensar isso posteriormente com unidades de computação adicionais, mas isso não é apenas caro, como também lento. Um autoscaler só reage depois que há um backlog de mensagens acumuladas e incorre em sobrecarga ao ativar novos workers.
O novo recurso de balanceamento de carga funciona distribuindo melhor as cargas de trabalho e aliviando proativamente os workers sobrecarregados. Isso permite que os pipelines enviem mais dados com menos recursos e latências mais baixas. Casos de uso reais de clientes importantes do Dataflow demonstram a eficácia desse recurso na redução de custos operacionais e na melhoria do desempenho do pipeline.
Por exemplo, um cliente conseguiu reduzir os eventos de escalonamento de workers em 75%, resultando em uma redução de custo diária de 64% no Google Compute Engine, e o backlog caiu de ~1 minuto para ~10 segundos.
Esse recurso de balanceamento de carga é ativado por padrão para todos os clientes do Dataflow em todas as regiões, tornando-o prontamente disponível para uso sem a necessidade de configuração adicional.
Concluindo, a introdução de leituras de fontes personalizadas com balanceamento de carga no Dataflow marca um passo significativo para melhorar a eficiência do pipeline e reduzir custos, especialmente em ambientes de streaming onde velocidade e eficiência são essenciais.
