Pessoal, quem tiver tendo dificuldade com essa função a solução que eu encontrei foi criar uma lista. Assim ele vai ler cada um dos arquivos
dir_path=os.path.abspath("path/estabelecimentos")
res = []
for path in os.listdir(dir_path):
# check if current path is a file
if os.path.isfile(os.path.join(dir_path, path)):
res.append(os.path.join(dir_path, path))
print(res)
estabelecimentos=spark.read.csv(res, sep=';', inferSchema=True)
Fonte do código de como listar arquivos no python: https://pynative.com/python-list-files-in-a-directory/
