Apenas para informar um erro de digitação no código da aula https://cursos.alura.com.br/course/spark-apresentando-ferramenta/task/97688 Na mudança do tipo das três colunas há uma barra no final que da erro no código "/":
estabelecimentos = estabelecimentos\
.withColumn(
"data_situacao_cadastral",
f.to_date(estabelecimentos.data_situacao_cadastral.cast(StringType()), 'yyyyMMdd')
)\
.withColumn(
"data_de_inicio_atividade",
f.to_date(estabelecimentos.data_de_inicio_atividade.cast(StringType()), 'yyyyMMdd')
)\
.withColumn(
"data_da_situacao_especial",
f.to_date(estabelecimentos.data_da_situacao_especial.cast(StringType()), 'yyyyMMdd')
)\