Boa tarde!
Durante a aula vimos que é possível gerar um arquivo csv único a partir de um data frame spark com a seguinte sequência de códigos:
Contudo, ao fazer isso o spark gera um csv com nome bastante exótico, como por exemplo "part-00000-82c7a183-78b4-4912-812f-4999746daa35-c000.csv". É possível ajustar o "file name" para que ele já crie o arquivo com um nome específico diretamente pelo código? Ou precisamos renomear o arquivo gerado manualmente sempre?
Olá Lucas, tudo bem com você?
Peço desculpas pela demora em obter um retorno.
Não é possível fazer isso diretamente no Spark. Por padrão, o Spark utiliza o formato de arquivo Hadoop, que exige que os dados sejam particionados - é por isso que você tem part- seguido de uma sequência de caracteres na nomeação. Porém, em algumas situações renomear pode ser trabalhoso, pois lidaremos com inúmeros arquivos e a opção de renomear teria que ser feita via automação, ao invés de manualmente.
Espero ter ajudado.
Abraços e bons estudos!