Estou com dificuldade de ler os arquivos CSV no meu VSCode pode me ajudar a fazer a leitura?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Estou com dificuldade de ler os arquivos CSV no meu VSCode pode me ajudar a fazer a leitura?
Olá, Gustavo! Tudo bem? :)
Como eu não sei exatamente quais dificuldades você está enfrentando, vou deixar abaixo alguns passos que podem ajudar você a ler um arquivo CSV com Spark no VSCode.
1º) Verifique se você já tem Python instalado. Para fazer isso, no terminal do Windows (Windows PowerShell), digite python --version. Caso ainda não tenha o Python instalado, acesse o site oficial para instalar.
2º) Caso ainda não tenha a extensão Python instalada, vá até a seção de extensões (ícone de quadrado no lado esquerdo) no VSCode, procure por "Python" e instale a extensão Python da Microsoft.
3º) Em seu projeto no VSCode, no terminal, instale o PySpark, caso ainda não tenha instalado.
pip install pyspark
4º) Instale o Java em seu sistema, como o Apache Spark depende do Java, então você precisa fazer essa instalação. Para isso, use o site oficial.
5º) Em seu projeto no VSCode, em um arquivo com extensão .py, execute os seguintes passos:
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName("Leitura de CSV com Spark") \
.getOrCreate()
df = spark.read.csv('/caminho/para/seu/arquivo.csv')
Se o seu arquivo CSV tiver um separador diferente de vírgula (como ponto e vírgula), você precisa especificar o separador usando o argumento sep.
df = spark.read.csv('/caminho/para/seu/arquivo.csv', sep=';')
6º) Depois, é só clicar no botão de executar.
Caso esses passos não resolvam o seu problema, fique à vontade para passar mais detalhes para que possamos chegar a uma boa solução! :)
Espero ter ajudado! Sucesso nos estudos!
Abraço!