Olá,
O meu código dá erro nesse trecho de código: companies = spark.read.csv(path, sep=';', inferSchema=True)
O erro é imenso e percebi que se o meu path for um arquivo csv dentro da pasta (ao invés da pasta toda, como o professor fez) dá certo. No entanto, assim eu só consigo carregar os dados de um dos 10 arquivos dentro da pasta. Como faço para juntá-los em um dataframe? Na aula o professor fez isso usando o mesmo código que eu, mas no meu não deu certo.
Obrigado