Me interesso bastante por Big Data ainda mais agora que estou trabalhando com conjunto de dados realmente grandes.Recebemos na empresa anualmente os empenhos ,pagamentos e liquidações de 217 municípios, na verdade de cada unidade orçamentária dos 217 municípios, só a tabela de empenhos está beeemmm pequena, tem só uns 200.000.000 de registros apenas para 2018. Agora temos que extrair informações dessa maçaroca de dados , algo quase impraticável usando apenas sql, então resolvi consolidar as informações em um banco de dados separado, por exemplo quero o total de despesas com educação da prefeitura X, então tenho o join do empenho com o ente, tenho que ter o join das unidades com o ente, e ainda aplico expressão regular para selecionar as naturezas e despesas versus contas contábeis que são da função Saúde(por exemplo para a saúde é a soma de todas as natureza despesas 1.1.2.xx,x union soma das naturezas 1.2.4.0.x.x), além de subtrair os anulamentos e extornos. O ponto que eu quero chegar é que ao fim da consolidação dos dados o esforço computacional vai ser ínfimo, mas para consolidar estes dados eu não vou poder fugir do sql e da lentidão das queries. Durante os cursos desta trilha de bigdata vamos ver alguma ferramenta(se existir) que auxilie a consolidar esses dados de bancos gigantescos, ou para o ETL não tem pra onde fugir do SQL?
