Boa tarde. Eu gostaria de saber qual o motivo de tanta demora, porque eu não sei se esta carregando lentamente ou nem isso, de todos os arquivos csv dentro da pasta empresas não carregarem. Um arquivo separado eu consigo usar mas todos juntos nao funcionam...
Oi Vitor,
Eu notei que você está tentando rodar o projeto localmente e dessa forma fica difícil identificar o problema para poder te ajudar.
Dê preferência para rodar o projeto no Colab. A partir das novas versões para rodar o projeto basta apenas instalar o pyspark e seguir o curso. Não precisa configurar variáveis de ambiente, baixar Spark etc.
Basta apenas rodar o seguinte código e seguir com o restante do curso:
!pip install pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local[*]').getOrCreate()
Espero ter ajudado e bons estudos