O código está rodando e gerando as pastas com o json, porém está gerando a pasta na mesma pasta do arquivo twitter_operator.py. Talvez seja um problema para quem está usando WSL para rodar o Ubuntu, devido ao filepath. Segue a parte final do código, onde passo o diretório onde a pasta deveria ser criada:
if __name__ == "__main__":
with DAG(dag_id="TwitterTest", start_date=datetime.now()) as dag:
to = TwitterOperator(
query="AluraOnline",
file_path=join(
"\\wsl$\\Ubuntu\\home\\lucas\\datapipeline\\datalake",
"twitter_aluraonline",
"extract_date={{ ds }}",
"AluraOnline_{{ ds_nodash }}.json"
),
task_id="test_run"
)
ti = TaskInstance(task=to, execution_date=datetime.now())
ti.run()
