[Projeto] Projeto de ETL | Pipeline de dados: combinando Python e orientação a objeto

Comecei no WSL criando as pastas e instalando o VS Code para trabalhar na máquina virtual.

Fiz todo o projeto mas utilizando o pandas. Tem a parte de extração, transformação e carregamento dos dados. Fiz a inclusão da coluna Data de Vendas, a troca dos nomes das colunas do arquivo csv para que ficasse igual ao json e a união dos dois arquivos salvando em csv. Testei para verificar se estava ok e inclui a qtde de linhas antes e depois para comparação. Aí montei o script e testei. Aparentemente está tudo certo.

Foi novidade pra mim toda a parte do WSL e a parte de POO. Sofri um pouco com os erros na hora de rodar o script mas depois acabou dando certo.

Bom dia, Mariana! Como vai?

Obrigado por compartilhar seu projeto e parabéns pelo avanço e persistência. A área de ETL é bastante valorizada no mercado, principalmente quando lidamos com grandes volumes de dados que precisam ser extraídos, transformados e carregados. Por exemplo, imagine que você trabalha em uma empresa de e-commerce, e precisa coletar dados de vendas de diferentes fontes, como bancos de dados SQL, APIs de produtos e arquivos em formatos variados. O processo de ETL ajuda a reunir essas informações em um formato padrão, para ser possível realizar análises e gerar relatórios. Deixo a seguir, uma tabela com os passos do processo de ETL e que poderá te ajudar em revisões futuras:

Etapa	Descrição
Extração	Leitura de arquivos CSV e JSON para coletar os dados de entrada.
Transformação	Alteração de nomes de colunas, adição de novas colunas (ex: Data de Vendas).
Carregamento	União dos dados e salvamento em formato CSV.
Validação	Comparação da quantidade de linhas antes e depois para garantir a integridade dos dados.

Conte com o apoio do fórum na sua jornada.

Abraços e bons estudos!