Deu erro na criação do primeiro Dataframe, assimo como relatado por outros colegas. Esse curso me parece que foi gravado em 2021. Deve ser algo de versão da Python, etc. Podem ajudar? Se não fica complicado seguir com a aula.
Deu erro na criação do primeiro Dataframe, assimo como relatado por outros colegas. Esse curso me parece que foi gravado em 2021. Deve ser algo de versão da Python, etc. Podem ajudar? Se não fica complicado seguir com a aula.
Olá, Thiago, tudo bem?
Para te ajudar mais assertivamente, você pode compartilhar qual trecho de código e qual a mensagem de erro, recebeu ao executá-lo.
Destaco também que na transcrição da aula há um aviso sobre possível erro que o aluno pode enfrentar, e sugestão de como proceder.
Deixo o link abaixo também:
Fico no aguardo das informações acima, caso ainda esteja com erro!
Estou tendo as mesmas dificuldades. O curso está bem travado porque a cada vídeo enfrento erros que preciso ficar descobrindo como ajustar. Essa sessão de acessar o sparkUI no colab funcionou mas agora erro de novo na hora de criar o dataframe. O próprio colab está sugerindo um erro de versões. Tentei algumas adaptações que ele sugeriu mas o erro persiste.
Linha de comando:
data = [('Zeca', '35'), ('Eva', '29')]
colNames = ['Nome', 'Idade']
df = spark.createDataFrame(data, colNames)
Erro:
IndexError: tuple index out of range
During handling of the above exception, another exception occurred:
PicklingError Traceback (most recent call last)
/content/spark-3.1.2-bin-hadoop2.7/python/pyspark/serializers.py in dumps(self, obj)
445 msg = "Could not serialize object: %s: %s" % (e.class.name, emsg)
446 print_exec(sys.stderr)
--> 447 raise pickle.PicklingError(msg)
448
449
PicklingError: Could not serialize object: IndexError: tuple index out of range