Salve, pessoal!
Para quem quiser uma amostra do código da aula 02.5 para executar no Windows via terminal ou PyCharm, segue o commit abaixo:
fas01 - aula 2: DataFrames com Spark
Em relação às variáveis de ambiente, eu as defini direto no sistema como 'SPARK_HOME' e 'HADOOP_HOME' e também no path como '%SPARK_HOME%/bin' e '%HADOOP_HOME%/bin'.
Versões:
Spark 3.5.1 Hadoop 3.0.0
Versões das demais bibliotecas estão no arquivo requirements.txt na raiz do projeto.
Espero que seja útil!
Olá Wybson, tudo bem?
Muito obrigada por compartilhar o seu código e as configurações para executar o ambiente no Windows. Isso com certeza será de grande ajuda para muitos colegas que estão enfrentando dificuldades para configurar o Spark no Windows.
Continue com essa dedicação e qualquer dúvida, compartilhe no fórum.
Abraços e bons estudos!
Olá, Monalisa!
Percebi que uma galera realmente teve muita dificuldade para configurar o ambiente tanto no Windows quanto no Colab.
Depois eu vou fazer um tutorial completo de toda a configuração que fiz aqui na minha máquina e deixar aqui no fórum junto com o link do repo do projeto final.
T+