1
resposta

read.csv dando erro

Olá,

O meu código dá erro nesse trecho de código: companies = spark.read.csv(path, sep=';', inferSchema=True)

O erro é imenso e percebi que se o meu path for um arquivo csv dentro da pasta (ao invés da pasta toda, como o professor fez) dá certo. No entanto, assim eu só consigo carregar os dados de um dos 10 arquivos dentro da pasta. Como faço para juntá-los em um dataframe? Na aula o professor fez isso usando o mesmo código que eu, mas no meu não deu certo.

Obrigado

1 resposta

Oi Pedro,

Tenta modificar a variável path de:

path = '/content/drive/MyDrive/curso-spark/empresas'

para:

path = '/content/drive/MyDrive/curso-spark/empresas/*.csv'

Eu já tive um problema parecido quando rodava o processo no Windows e essa modificação resolvia.

Espero ter ajudado