No exemplo no corpo da explicação esta incorreto.
df_parquet = spark.read.format("parquet") \
.load(""/FileStore/tables/arquivos_curso/parquet_gzip", compression='gzip')
display(df_parquet)
Sendo que o correto é o
df_parquet = spark.read.format("parquet") \
.load("/FileStore/tables/arquivos_curso/parquet_gzip", compression='gzip')
display(df_parquet)