Entrar Ainda não tem acesso?
Solucionado (ver solução)
Solucionado
(ver solução)
2
respostas

[Sugestão] Iniciando o Spark

Referente ao curso Spark: apresentando a ferramenta, no capítulo Carregamento de dados e atividade SparkSession

por CEILTON L MARINHO
| 141.6k xp | 98 posts
DBA, Business Intelligence, ETL, Tuning and Performance

Essa aula esta muito confusa. Os passos apresentados no vídeo não funcionam. Os passos apresentados no texto para corrigir os passos do video, não funcionam.

O que funcionou para mim foram os passos apresentados pelo Rafael Rocha nesse post do forum: https://cursos.alura.com.br/forum/topico-chamada-api-nao-retorna-link-397177

E apesar de ter funcionado, não entendi o que esta sendo feito. Estou frustrado... Eu gostaria de ter feito as aulas no Jupyter Notebook, mas não entendi o assunto o suficiente para continuar no Notebook.

Sugiro refazer essa aula.

2 respostas
solução!
por NATHALIA QUEIROZ
| 2131.7k xp | 5036 posts
Alura Scuba Team Suporte Educacional

Oie, Ceilton!

Agradeço por nos trazer esse feedback e sinto muito por ter essa experiência durante a aula.

Sobre o que foi feito na resposta do monitor Rafael, é que o código faz a instalação e configuração do Apache Spark em um ambiente baseado em Python, além de criar uma sessão do Spark e expor sua interface web local por meio do ngrok.

Por exemplo, em etapas foi assim:

  • Instalação dependências como o Java 8 e o Spark.
  • Configuração das variáveis de ambiente para apontar o Java e o Spark.
  • É inicializado uma sessão do PySpark (Spark com interface Python).
  • Depois, faz o download e a configuração do ngrok para expor a interface web do Spark em uma URL pública.
  • Conecta o ngrok à porta onde a interface web do Spark estará disponível.

Mais uma vez, obrigada por trazer sua opinião sincera e pode ter certeza que ela nos ajudará em melhorias. Caso tenha dúvidas, conte conosco aqui no fórum, estaremos aqui para te ajudar.

Bons estudos!

por CEILTON L MARINHO
| 141.6k xp | 98 posts
DBA, Business Intelligence, ETL, Tuning and Performance

Boa tarde Nathalia. Obrigado pelo retorno...