ao tentar salvar o dataframe pandas em formato parquet no databricks, está apresentando erro.
path = "dbfs:/FileStore/dados_tratados/data_year.parquet" df_data_year.to_parquet(path)
OSError: Cannot save file into a non-existent directory: 'dbfs:/FileStore/dados_tratados'
o mais próximo que encontrei foi o processo de conversão para o formato pandas. ao inves de usar o comando conforme sugestão:
# Convertendo o DataFrame do Spark para um DataFrame do Pandas
df_data_year = df_data_year.toPandas()
usei a api: pandas_api()
df_data_year = df_data_year.pandas_api()
desta forma consegui avançar.
Seria esta a solução?
