Erro createDataFrame

Olá Arthur, tudo bem com você?

Peço desculpas pela demora em obter um retorno.

Esse erro geralmente acontece quando utilizarmos uma versão do Python que não é suportada pelo Spark, por exemplo, caso utilize a versão 3.11 do Python, esse erro será gerado. Uma alternativa é fazer o downgrade da versão do Python, para a 3.8 por exemplo, e isso pode ser feito desinstalando a versão atual e instalando uma versão menor.

Outra opção é utilizar o Google Colab e seguir os passos da aula Spark no Google Colab - a alternativa do Google Colab é interessante porque o ambiente já fornece recursos que facilitam a análise de dados e a configuração do Spark nesse ambiente também não é trabalhosa.

Espero ter ajudado. Continue mergulhando em conhecimento e não hesite em voltar ao fórum para continuar aprendendo e interagindo com a comunidade.

Em caso de dúvidas estou à disposição.

Abraços e bons estudos!

Oi Arthur,

Somente complementando a resposta do Felippe, você pode rodar todo o projeto do curso no Colab apenas instalando e importando diretamente o pyspark.

!pip install pyspark

from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local[*]').getOrCreate()
df = spark.createDataFrame([(1,),(2,),(3,)],['data'])
df.show()

+----+

|data|

+----+

| 1|

| 2|

| 3|

+----+

Quando o curso foi criado esse procedimento apresentava alguns problemas, mas com as versões atuais o projeto roda sem problema e eu aconselho que você use o Colab para acompanhar o curso.

Espero ter ajudado e bons estudos.