Boa Tarde!
Vi que muitos tiveram problema ao tentar ler os arquivos localmente, eu usei esse formato abaixo e deu certo aqui:
def get_file_paths(dir_name):
dir_path = os.path.abspath(dir_name)
res = []
for path in os.listdir(dir_path):
if os.path.isfile(os.path.join(dir_path, path)):
res.append(os.path.join(dir_path, path))
return res
# Obtem os caminhos dos arquivos para cada diretório
estabelecimentos_files = get_file_paths("estabelecimentos")
empresas_files = get_file_paths("empresas")
socios_files = get_file_paths("socios")
# Lê os arquivos em DataFrames Spark
estabelecimentos_df = spark.read.csv(estabelecimentos_files, sep=';', inferSchema=True)
empresas_df = spark.read.csv(empresas_files, sep=';', inferSchema=True)
socios_df = spark.read.csv(socios_files, sep=';', inferSchema=True)
