Erro ao gerar CSV

Oii, Kaue! Tudo bem?

O erro pode ser causado por alguns motivos como problemas de configuração, permissões e até mesmo caminho incorreto.

Pelo print, pude perceber que o caminho do seu arquivo está com barras invertidas. Porém, no Spark geralmente espera caminhos com barras normais (/), mesmo em sistema Windows.

No Spark, é importante que o caminho seja especificado corretamente, e ele deve ser compatível com o sistema de arquivos que você está utilizando.

Então, como sugestão altere o caminho para utilizar barras normais. Aqui está um exemplo de como o código ficaria:

empresas.write.csv(
    path='/content/drive/MyDrive/curso-spark/empresas/csv',
    mode="overwrite",
    sep=";",
    header=True
)

Após alterar, vá à aba Ambiente de execução e selecione Executar tudo para garantir que todas as células serão executadas certinho.

Espero que dê certo! Qualquer dúvida, conte conosco.

Bons estudos, Kaue!

Olá Nathalia, tudo sim e com você?

Meu código já está com as barras corretas e o erro persiste, o que mais poderia ser?

Erro:

Tem alguma outra forma de salvar em csv e parquet com spark que eu poderia tentar?