Bom dia, mestre. Tudo bem?
O erro em questão no tópico anterior se dá a respeito do "Passo 1: renomear as colunas". Faltaram .withColumn para renomear as colunas cod_ano e ano.
df = df.withColumnRenamed("D1C","cod_regiao") \
.withColumnRenamed("D1N", "regiao")\
.withColumnRenamed("D2C","cod_variavel") \
.withColumnRenamed("D2N", "variavel") \
.withColumnRenamed("D3C", "cod_ano") \
.withColumnRenamed("D3N", "ano") \
.withColumnRenamed("D4C","cod_doenca") \
.withColumnRenamed("D4N", "doenca") \
.withColumnRenamed("MC","cod_medida") \
.withColumnRenamed("MN", "medida") \
.withColumnRenamed("NC","cod_nivel_territorial") \
.withColumnRenamed("NN", "nivel territorial") \
.withColumnRenamed("V","valor")
display (df)
