Na aula, o instrutor mostra como salvar arquivos em Parquet com o dataframe de empresas. Resolvi salvar os outros dois dataframes também e o de estabelecimentos dá erro.
empresas.write.parquet(
path='/content/drive/MyDrive/curso-spark/empresas/parquet',
mode='overwrite,
)
socios.write.parquet(
path='/content/drive/MyDrive/curso-spark/socios/parquet',
mode='overwrite,
)
estabelecimentos.write.parquet(
path='/content/drive/MyDrive/curso-spark/estabelecimentos/parquet',
mode='overwrite,
)Usei o mesmo código, alterando apenas o nome do dataframe e aparece um erro.
Inclusive, tem outro post com os mesmos erros, sem resposta: Parquet: erro no Dataframe Socios