Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

Diferentes formas de instalar o Spark para trabalhar com o Google Colab

Pessoal, acompanhando este curso e o outros sobre Spark, vi duas maneiras diferentes de instalar o Spark:

!pip install pyspark

e

!apt-get update -qq
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://archive.apache.org/dist/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz
!tar xf spark-3.3.0-bin-hadoop3.tgz
!pip install -q findspark

import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.3.0-bin-hadoop3"

Até pesquisando na internet sempre vejo dessas duas maneiras. Minha dúvida é, qual diferença entre elas? Causa algum impacto no uso de um ou do outro? Algum é mais correto que o outro?

1 resposta
solução!

Olá, Italo! Tudo bem com você?

Recentemente respondi um tópico que tinha uma duvida parecida com a sua. O tópico é "Qual a diferença entre usar o spark do site oficial e usar o pacote pyspark?". Veja se soluciona sua dúvida.

Qualquer dúvida estou à disposição.