Não sei se foi só comigo, mas...
No arquivo de sócios part-00005 tem um registro de data inválido que é o "4100813", precisei dar um jeito de tratar esse valor como nulo na conversão de datas. Estava dando alguns erros comigo então já aproveitei e tratei todos os outros dataframes do spark assim também pra evitar erros! :)
Oi, Vagner! Como vai?
Agradeço por compartilhar sua observação com a comunidade Alura.
Tratar valores inválidos como nulos é uma ótima prática e ajuda bastante na robustez do pipeline. Excelente iniciativa em aplicar o mesmo tratamento para todos os DataFrames. Parabéns pela postura proativa!
Qualquer dúvida que surgir, compartilhe no fórum. Abraços e bons estudos!
Conte com o apoio da comunidade Alura na sua jornada. Abraços e bons estudos!