Olás, meu nome é Eduardo e estou muito contente em fazer parte da comunidade Alura. Vou me graduar agora no meio do semestre e acabo de entrar para uma startup com foco em análise de dados.
Tenho interesse em criar uma aplicação que busca dados de várias fontes e apis e os manipula de forma a gerar certas informações relevantes. Os conjuntos de dados são bem grandes--para se ter uma idéia, um destes conjuntos tinha 5GB de arquivos csv e se referia aos dados de apenas um mês. Esta aplicação tem como principal componente seu sistema de busca, que deve buscar também por relevância.
Nunca trabalhei com este tipo de aplicação antes e gostaria de algumas dicas sobre que estruturas utilizar. A princípio isto foi o que achei mais interessante... Detalhe: estou falando apenas de backend.
API: python 3.5 com django
Sistema de busca: elasticsearch
Banco de dados: postgresql
Não tenho experiência com análise de dados... gostaria de saber também quais bibliotecas utilizar para esse fim.
Desde já agradeço e conto com a colaboração de todos os colegas. Todas as opiniões são bem vindas, estou aqui para aprender com quem tem a ensinar!
Abraços, Eduardo.
