Bom dia! Estou seguindo todos os passos corretamente, mas na hora de criar o profile recebo um erro de Expected Spark Session object for spark_session, not class <pyspark.sql.connect.session.SparkSession> Meu dataframe veio de uma query spark no datalake. Onde posso estar errando?
Bom dia! O erro que você está encontrando — "Expected Spark Session object for spark_session, not class <pyspark.sql.connect.session.SparkSession>" — sugere que há um problema com a criação ou o tipo da SparkSession que você está passando para a função que está tentando usar.
Esse erro ocorre porque o código espera que você passe um objeto do tipo SparkSession, mas está recebendo uma instância de pyspark.sql.connect.session.SparkSession, que pode ser diferente em termos de implementação ou compatibilidade. Parece que você está utilizando uma versão do PySpark com conectividade via Spark Connect, e esse tipo de sessão pode não ser compatível com alguns métodos esperados.