O Google Cloud anunciou a disponibilidade geral das otimizações baseadas em histórico do BigQuery, que podem acelerar o desempenho de consultas em até 100 vezes. Esse novo recurso foi projetado para aprender com execuções de consultas anteriores e identificar melhorias adicionais que podem ser aplicadas a execuções futuras.
Um aspecto interessante das otimizações baseadas em histórico do BigQuery é a sua capacidade de melhorar diferentes tipos de consultas, incluindo aquelas que envolvem junções altamente seletivas. Por exemplo, se o BigQuery identificar uma junção que resulta em um número muito menor de linhas do que sua entrada, ele pode optar por executar essa junção mais cedo no plano de execução. Isso pode reduzir significativamente a quantidade de dados que precisam ser processados, levando a melhorias gerais de desempenho.
Além disso, as otimizações baseadas em histórico do BigQuery podem ajudar a reduzir a quantidade de dados que o BigQuery verifica inserindo operações de semijunção seletivas em toda a consulta. Em alguns casos, o BigQuery pode identificar uma junção altamente seletiva (semelhante ao pushdown de junção) em uma consulta com vários caminhos de execução paralelos que são eventualmente unidos. O BigQuery pode então inserir novas operações de “semijunção” com base na junção seletiva que “reduz” a quantidade de dados verificados e processados por esses caminhos de execução paralelos.
No geral, as otimizações baseadas em histórico do BigQuery são uma adição valiosa ao BigQuery. Ao aproveitar dados históricos de execuções de consultas anteriores, esse novo recurso pode melhorar significativamente o desempenho de consultas e reduzir custos. Além disso, como funciona automaticamente, os usuários podem se beneficiar dessas melhorias sem precisar fazer nenhuma alteração em suas consultas.
