Poderiam me ajudar?
Ei, Guilherme! Tudo bem?
Agradeço por aguardar o nosso retorno.
Recomento que, primeiro, apague a pasta do seu drive correspondente a Empresas.
Feito isso, baixe a pasta zipada e, em seguida, suba a pasta para o drive que está usando.
Nas células de extração da pasta zipada e path, altere para o caminho da sua pasta que acabou de criar no drive. Um exemplo de como ficou aqui no meu teste:
zipfile.ZipFile('//content/drive/MyDrive/Colab Notebooks/empresas.zip', 'r').extractall('/content/drive/MyDrive/curso-spark')
path = '/content/drive/MyDrive/curso-spark/empresas'
empresas = spark.read.csv(path, sep=';', inferSchema=True)
Feito isso, rode todas as células novamente, incluindo a de renomeação das colunas onde está tendo problemas com caracteres especiais.
E deixo aqui o notebook usando para teste para te auxiliar:
Espero ter ajudado e qualquer dúvida, compartilhe no fórum.
Até mais, Guilherme!
Caso este post tenha lhe ajudado, por favor, marcar como solucionado!