Referente ao curso Engenharia de dados: conhecendo Apache Airflow, no capítulo Spark: Exportando os dados transformados para o Data Lake e atividade Segundo estágio do Data Lake
Ao realizar o groupby por created_at, está buscando a data do arquivo e não o campo de data do dataframe. Então ele não faz a partição pelas data dos dados, pois considera apenas uma data só. Sabem o que pode ser?
Continue sua jornada tech com ainda mais tempo para aprender e evoluir