Boa noite, galera.
ótimo curso mas fiquei com uma dúvida, vi que o s3 suporta diversos formatos, um deles é o csv, há alguma indicação para sempre fazer esse transformação para o parquet ou posso deixar em outros formatos?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Boa noite, galera.
ótimo curso mas fiquei com uma dúvida, vi que o s3 suporta diversos formatos, um deles é o csv, há alguma indicação para sempre fazer esse transformação para o parquet ou posso deixar em outros formatos?
Boa tarde Fabio! Tudo bem com você?
A escolha entre usar arquivos Parquet ou CSV no Amazon S3 depende de alguns fatores:
O formato Parquet é altamente recomendado quando você está lidando com grandes volumes de dados e precisa de eficiência no processamento. Isso ocorre porque o Parquet é um formato de armazenamento colunar que oferece compressão e codificação eficientes, reduzindo o espaço de armazenamento e melhorando a velocidade de leitura dos dados.
O CSV é um formato mais simples e amplamente utilizado, mas não oferece as mesmas vantagens de compressão e desempenho que o Parquet. Ele pode ser mais adequado para conjuntos de dados menores ou quando a simplicidade e a compatibilidade são mais importantes do que a performance.
Espero ter ajudado. Conte com o apoio do Fórum na sua jornada. Fico à disposição. Abraços e bons estudos!