O Google Cloud anunciou o BigQuery tables for Apache Iceberg, um mecanismo de armazenamento totalmente gerenciado e compatível com o Apache Iceberg do BigQuery. Essa solução oferece recursos como otimizações de armazenamento autônomas, clustering e ingestão de streaming de alto rendimento. O BigQuery tables for Apache Iceberg usa o formato do Apache Iceberg para armazenar dados em buckets de armazenamento em nuvem pertencentes ao cliente, além de fornecer uma experiência do cliente e um conjunto de recursos semelhantes aos das tabelas nativas do BigQuery.
Um aspecto interessante desse anúncio é a capacidade do BigQuery tables for Apache Iceberg de lidar com as limitações dos formatos de tabela de código aberto. Com o BigQuery tables for Apache Iceberg, o BigQuery cuida das tarefas de manutenção da tabela de forma autônoma, sem trabalho para o cliente.
Por exemplo, os tamanhos de arquivo ideais são determinados de forma adaptativa com base no tamanho da tabela. O BigQuery tables for Apache Iceberg se beneficia de mais de uma década de experiência na execução da otimização de armazenamento automatizada para tabelas nativas do BigQuery de maneira eficiente e econômica.
Resumindo, essa nova solução representa uma solução promissora para o gerenciamento de dados em um ambiente de lakehouse, fornecendo aos clientes uma maneira mais eficiente e econômica de armazenar e processar seus dados.
