Prezados. Tudo bem?
Existe um erro no código em que vocês deixaram para nos copiarmos. o do video é um código e o da descrição é outro:
o do vídeo:
from pyspark.sql.functions import col
from pyspark.sql.types import IntegerType
df_new = df.withColumn("cod_regiao", col("cod_regiao").cast(IntegerType())) \
.withColumn("cod_variavel", col("cod_variavel").cast(IntegerType())) \
.withColumn("**cod_ano**", col("**cod_ano**").cast(IntegerType())) \
.withColumn("**ano**", col("**ano**").cast(IntegerType())) \
.withColumn("cod_doenca", col("cod_doenca").cast(IntegerType())) \
.withColumn("cod_medida", col("cod_medida").cast(IntegerType())) \
.withColumn("cod_nivel_territorial", col("cod_nivel_territorial").cast(IntegerType())) \
.withColumn("valor", col("valor").cast(IntegerType()))
o que vocês deixaram para nós COM ERRO DE NOME DE COLUNA:
from pyspark.sql.functions import col
from pyspark.sql.types import IntegerType
df_new = df.withColumn("cod_regiao", col("cod_regiao").cast(IntegerType())) \
.withColumn("cod_variavel", col("cod_variavel").cast(IntegerType())) \ ERRO .withColumn("**D3N**", col("**D3N**").cast (IntegerType())) \
ERRO .withColumn("**D3C**", col("**D3C**").cast (IntegerType())) \
.withColumn("cod_doenca", col("cod_doenca").cast(IntegerType())) \
.withColumn("cod_medida", col("cod_medida").cast(IntegerType())) \
.withColumn("cod_nivel_territorial", col("cod_nivel_territorial").cast (IntegerType())) \
.withColumn("valor", col("valor").cast (IntegerType()))
Não sei se isso faz parte da atividade de ter que encontrar o erro mas as vezes existe uma pessoa que não vai achar o erro e acabar desistindo do curso.
Abraçosss.