Bom dia, Clarissa! Aparentemente esse erro aconteceu porque os dados não foram convertidos para o tipo data, mas sim para o tipo inteiro.
cannot resolve year due to data type mismath: argument 1 requires date type, however is 'data_de_entrada_sociedade' of int type
Creio que você converteu os dados da coluna data_de_entrada_sociedade
para inteiro
, em vez de date
.
Você pode converter para o formato data assim:
socios = socios.withColumn(
'data_de_entrada_sociedade',
f.to_date(socios['data_de_entrada_sociedade'].cast(StringType()), 'yyyyMMdd')
)
Aqui está a documentação do StringType
e do pyspark.sql.functions.to_date
https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.types.StringType.html?highlight=stringtype
https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.functions.to_date.html?highlight=to_date