Eu estava conseguindo utilizar normalmente o pyspark aqui na minha máquina pelo jupyter só que quando tentei criar um dataFrame normal igual esse do professor em 1:00 do video... da esse erro
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Eu estava conseguindo utilizar normalmente o pyspark aqui na minha máquina pelo jupyter só que quando tentei criar um dataFrame normal igual esse do professor em 1:00 do video... da esse erro
Olá Arthur, tudo bem com você?
Peço desculpas pela demora em obter um retorno.
Esse erro geralmente acontece quando utilizarmos uma versão do Python que não é suportada pelo Spark, por exemplo, caso utilize a versão 3.11 do Python, esse erro será gerado. Uma alternativa é fazer o downgrade da versão do Python, para a 3.8 por exemplo, e isso pode ser feito desinstalando a versão atual e instalando uma versão menor.
Outra opção é utilizar o Google Colab e seguir os passos da aula Spark no Google Colab - a alternativa do Google Colab é interessante porque o ambiente já fornece recursos que facilitam a análise de dados e a configuração do Spark nesse ambiente também não é trabalhosa.
Espero ter ajudado. Continue mergulhando em conhecimento e não hesite em voltar ao fórum para continuar aprendendo e interagindo com a comunidade.
Em caso de dúvidas estou à disposição.
Abraços e bons estudos!
Oi Arthur,
Somente complementando a resposta do Felippe, você pode rodar todo o projeto do curso no Colab apenas instalando e importando diretamente o pyspark.
!pip install pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local[*]').getOrCreate()
df = spark.createDataFrame([(1,),(2,),(3,)],['data'])
df.show()
+----+
|data|
+----+
| 1|
| 2|
| 3|
+----+
Quando o curso foi criado esse procedimento apresentava alguns problemas, mas com as versões atuais o projeto roda sem problema e eu aconselho que você use o Colab para acompanhar o curso.
Espero ter ajudado e bons estudos.