Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

Não consigo criar a pasta "datalake" no diretório desejado

O código está rodando e gerando as pastas com o json, porém está gerando a pasta na mesma pasta do arquivo twitter_operator.py. Talvez seja um problema para quem está usando WSL para rodar o Ubuntu, devido ao filepath. Segue a parte final do código, onde passo o diretório onde a pasta deveria ser criada:

if __name__ == "__main__":
    with DAG(dag_id="TwitterTest", start_date=datetime.now()) as dag:
        to = TwitterOperator(
            query="AluraOnline",
            file_path=join(
                "\\wsl$\\Ubuntu\\home\\lucas\\datapipeline\\datalake",
                "twitter_aluraonline",
                "extract_date={{ ds }}",
                "AluraOnline_{{ ds_nodash }}.json"
            ),
            task_id="test_run"
        )
        ti = TaskInstance(task=to, execution_date=datetime.now())
        ti.run()
1 resposta
solução!

vai no terminal onde ta seu codigo da um pwd e copia o caminho ai vc cola no join()

join("<resultado do pwd>","twitter_aluraonline","extract_date={{ ds }}","AluraOnline_{{ ds_nodash }}.json")

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software