Oii, Gabriel! Tudo bem?

O erro pode ser causado pela versão do PySpark que não suporta o uso desse método.O pandas_api() foi introduzido ao PySpark a partir da versão 3.4.0.

Como sugestão, podemos utilizar o método .toPandas() que é uma forma comum de converter um DataFrame do PySpark para um DataFrame do Pandas. Substitua a linha de código para:

df_data = df_data.toPandas()

Uma alternativa é checar a versão do PySpark e atualizá-la para a versão mais recente:

import pyspark
print(pyspark.__version__)

Em seguida rode o código para atualizar a versão:

pip install --upgrade pyspark

Espero que uma das sugestões te ajude.

Bons estudos, Gabriel!