Boa noite, fiz todo o passo a passo da aula mas quando tento transformar o dataframe no pandas ele da esse erro,
Boa noite, fiz todo o passo a passo da aula mas quando tento transformar o dataframe no pandas ele da esse erro,
Oii, Gabriel! Tudo bem?
O erro pode ser causado pela versão do PySpark que não suporta o uso desse método.O pandas_api() foi introduzido ao PySpark a partir da versão 3.4.0.
Como sugestão, podemos utilizar o método .toPandas() que é uma forma comum de converter um DataFrame do PySpark para um DataFrame do Pandas. Substitua a linha de código para:
df_data = df_data.toPandas()
Uma alternativa é checar a versão do PySpark e atualizá-la para a versão mais recente:
import pyspark
print(pyspark.__version__)
Em seguida rode o código para atualizar a versão:
pip install --upgrade pyspark
Espero que uma das sugestões te ajude.
Bons estudos, Gabriel!