Fala pessoal, tudo bem?
Estou tendo um problema com a leitura dos dados localmente. Procurei o erro na net mas não achei. Vi algumas tentativas de solução no forum, onde pelo que entendi resolviam o problema da leitura de multiplos arquivos. Testei e não funfou aqui :(
Segue um print do meu erro:
Alguem sabe como resolver?
O codigo que estou rodando: 
Oi, tudo bem?
A mensagem de erro indica um problema relacionado ao acesso ao arquivo 0142.csv. Isso pode ser causado por várias razões, como permissões de arquivo, arquivo corrompido ou caminho incorreto.
Deixo algumas possíveis soluções para o seu problema:
0142.csv tem as permissões corretas para que o Spark possa lê-lo.0142.csv está correto. No código que você está utilizando, a variável path deve conter o caminho correto para a pasta onde o arquivo CSV está localizado.0142.csv com outro programa (como um editor de texto ou uma planilha eletrônica) para garantir que o arquivo não está corrompido.* ou ?), tente usar o caminho completo para um único arquivo para ver se o problema persiste.Caso seu problema persista recomendo que você utilize o Spark dentro do Google Colab, para isso você pode consultar esta aula. Deixo também o notebook da aula para você consultar, neste link.
Espero ter ajudado. Caso tenha dúvidas, conte com o fórum. Abraços!
Estou tendo o mesmo problema, tentei todas as possibilidades de resolução relatadas acima, e não tive sucesso.
Sugerir a utlização do COLAB simplesmente não é uma solução cabível, uma vez que nem sempre no mercado de trabalho essa seria uma solução factível.
Oi, Fabiano, tudo bem?
Sinto muito que as sugestões acima não funcionaram para o seu caso, peço que você crie um novo tópico e dê mais detalhes sobre o problema que está enfrentando, se possível compartilhe seu notebook, para podermos te ajudar de forma mais assertiva.
Abraços e bons estudos!