Bom dia pessoal! Não estou tendo o resultado esperado ao executar o código. Mesmo reiniciando a sessão não aparece a url. Alguém sabe como resolver?
Bom dia pessoal! Não estou tendo o resultado esperado ao executar o código. Mesmo reiniciando a sessão não aparece a url. Alguém sabe como resolver?
hoje, com a Alura e o Google Gemini
Olá Giuliana, tudo bem com você?
Para fazer a conexão do SparkUI usando o Ngrok dentro do Google Colab instale a biblioteca pyngrok. Através do método connect será retornado a URL de acesso do SparkUI como mostrado em aula.
Antes de prosseguir reinicie o ambiente de execução do Google Colab. Você pode reiniciar o ambiente de execução clicando na barra de ferramentas localizada na parte superior da tela e em "Ambiente de execução" selecionar a opção "Reiniciar o ambiente de execução".
A seguir o código que você deverá executar em cada célula separadamente:
# instalar as dependências
!apt-get update -qq
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz
!tar xf spark-3.1.2-bin-hadoop2.7.tgz
!pip install -q findspark
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.1.2-bin-hadoop2.7"
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master('local[*]') \
.appName("Iniciando com Spark") \
.config('spark.ui.port', '4050') \
.getOrCreate()
!wget -q https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip ngrok-stable-linux-amd64.zip
!pip install pyngrok
from pyngrok import ngrok
!ngrok authtoken SEU_TOKEN_AQUI_ENTRE_ASPAS_DUPLAS
ngrok.connect('4050')
Lembre de alterar o comando authtoken com o seu código de autenticação do ngrok que foi gerado neste site.
Como resultado após a célula ngrok.connect deverá aparecer uma URL, copie, cole em seu navegador e clique no botão Visit Site . Como resultado deverá ver a página do SparkUI/jobs:
Espero ter ajudado. Em caso de dúvidas estou à disposição. Abraços e bons estudos!
Exatamente a minha dificuldade. Testei a solução e funcionou.
Obrigado.