Me interesso bastante por Big Data ainda mais agora que estou trabalhando com conjunto de dados realmente grandes.Recebemos na empresa anualmente os empenhos ,pagamentos e liquidações de 217 municípios, na verdade de cada unidade orçamentária dos 217 municípios, só a tabela de empenhos está beeemmm pequena, tem só uns 200.000.000 de registros apenas para 2018. Agora temos que extrair informações dessa maçaroca de dados , algo quase impraticável usando apenas sql, então resolvi consolidar as informações em um banco de dados separado, por exemplo quero o total de despesas com educação da prefeitura X, então tenho o join do empenho com o ente, tenho que ter o join das unidades com o ente, e ainda aplico expressão regular para selecionar as naturezas e despesas versus contas contábeis que são da função Saúde(por exemplo para a saúde é a soma de todas as natureza despesas 1.1.2.xx,x union soma das naturezas 1.2.4.0.x.x), além de subtrair os anulamentos e extornos. O ponto que eu quero chegar é que ao fim da consolidação dos dados o esforço computacional vai ser ínfimo, mas para consolidar estes dados eu não vou poder fugir do sql e da lentidão das queries. Durante os cursos desta trilha de bigdata vamos ver alguma ferramenta(se existir) que auxilie a consolidar esses dados de bancos gigantescos, ou para o ETL não tem pra onde fugir do SQL?
1
resposta
resposta
ETL, como consolidar bases gigantescas?
Olá Ricardo!
Nessa formação não abarcamos soluções para Big Data! Nesse curso só tratamos de banco de dados relacionais, e sem um volume tão intenso de dados, sendo assim, não tem como fugir muito do SQL.
Dependendo do volume, não tem problema ainda ser relacional, mas precisa de um poder de processamento e otimização muito maior que essas soluções podem oferecer.
Qualquer dúvida me avise, e bons estudos =)