Bom dia pessoal! Não estou tendo o resultado esperado ao executar o código. Mesmo reiniciando a sessão não aparece a url. Alguém sabe como resolver?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Bom dia pessoal! Não estou tendo o resultado esperado ao executar o código. Mesmo reiniciando a sessão não aparece a url. Alguém sabe como resolver?
Olá Giuliana, tudo bem com você?
Para fazer a conexão do SparkUI usando o Ngrok dentro do Google Colab instale a biblioteca pyngrok. Através do método connect será retornado a URL de acesso do SparkUI como mostrado em aula.
Antes de prosseguir reinicie o ambiente de execução do Google Colab. Você pode reiniciar o ambiente de execução clicando na barra de ferramentas localizada na parte superior da tela e em "Ambiente de execução" selecionar a opção "Reiniciar o ambiente de execução".
A seguir o código que você deverá executar em cada célula separadamente:
# instalar as dependências
!apt-get update -qq
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz
!tar xf spark-3.1.2-bin-hadoop2.7.tgz
!pip install -q findspark
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.1.2-bin-hadoop2.7"
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master('local[*]') \
.appName("Iniciando com Spark") \
.config('spark.ui.port', '4050') \
.getOrCreate()
!wget -q https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip ngrok-stable-linux-amd64.zip
!pip install pyngrok
from pyngrok import ngrok
!ngrok authtoken SEU_TOKEN_AQUI_ENTRE_ASPAS_DUPLAS
ngrok.connect('4050')
Lembre de alterar o comando authtoken com o seu código de autenticação do ngrok que foi gerado neste site.
Como resultado após a célula ngrok.connect deverá aparecer uma URL, copie, cole em seu navegador e clique no botão Visit Site . Como resultado deverá ver a página do SparkUI/jobs:
Espero ter ajudado. Em caso de dúvidas estou à disposição. Abraços e bons estudos!
Exatamente a minha dificuldade. Testei a solução e funcionou.
Obrigado.