Entrar Ainda não tem acesso?
6
respostas

Error airflow.exceptions.AirflowNotFoundException: The conn_id `twitter_default` isn't defined

Referente ao curso Apache Airflow: extração de dados, no capítulo Orquestração Airflow e atividade Projeto da aula anterior

por Deusnir Portela
| 499.1k xp | 22 posts
assistente administrativo

Pessoal, Alguém consegue me ajudar?

repositório: https://github.com/xing-wang-kai/AIRFLOW_AUTO_EXTRACTOR

Mesmo definido a configurações corretas estou com esse erro não econtrar a conn

Insira aqui a descrição dessa imagem para ajudar na acessibilidade

Insira aqui a descrição dessa imagem para ajudar na acessibilidade 


venv) kai@kaiwangairflow:~/Documents/PROJETOS/twitter_extractor_airflow$ python3 airflow_twitter/operators/twitter_operator.py
this is connID twitter_default
this is connID twitter_default
Traceback (most recent call last):
  File "airflow_twitter/operators/twitter_operator.py", line 47, in <module>
    twitter_operator.execute(twitter_instance.task_id)
  File "airflow_twitter/operators/twitter_operator.py", line 25, in execute
    for pg in TwitterHook(start_time, end_time, query).run():
  File "/home/kai/Documents/PROJETOS/twitter_extractor_airflow/airflow_twitter/hook/twitter_hook.py", line 106, in run
    session = self.get_conn()
  File "/home/kai/Documents/PROJETOS/twitter_extractor_airflow/venv/lib/python3.8/site-packages/airflow/providers/http/hooks/http.py", line 68, in get_conn
    conn = self.get_connection(self.http_conn_id)
  File "/home/kai/Documents/PROJETOS/twitter_extractor_airflow/venv/lib/python3.8/site-packages/airflow/hooks/base.py", line 67, in get_connection
    conn = Connection.get_connection_from_secrets(conn_id)
  File "/home/kai/Documents/PROJETOS/twitter_extractor_airflow/venv/lib/python3.8/site-packages/airflow/models/connection.py", line 430, in get_connection_from_secrets
    raise AirflowNotFoundException(f"The conn_id `{conn_id}` isn't defined")
airflow.exceptions.AirflowNotFoundException: The conn_id `twitter_default` isn't defined
(venv) kai@kaiwangairflow:~/Documents/PROJETOS/twitter_extractor_airflow$
6 respostas
por Deusnir Portela
| 499.1k xp | 22 posts
assistente administrativo

Consegui identificar que o problema está ao passar a srting {{ start_interval.strftime('etc')}} ele passa isso tudo como string e da erro na conexão, alguém sabe porque isso aconece??

por Monalisa Meyrelle de Sousa Silva
| 2079.9k xp | 4620 posts
Alura Scuba Team Monitoria Fórum Ops

Olá, Deusnir, tudo bem?

Ao olhar o seu código notei que no arquivo twitter_operator e twitter_hook você não utilizou o strftime(TIMESTAMP_FORMAT) no end_time.

end_time = datetime.now().strftime(TIMESTAMP_FORMAT)
start_time = (datetime.now() + timedelta(-1)).date().strftime(TIMESTAMP_FORMAT)

Tente corrigir esse ponto e veja se eles resolvem o problema. Se continuar tendo dificuldades, estarei aqui para ajudar!

Espero ter ajudado.

Qualquer dúvida, compartilhe no fórum.

Abraços e bons estudos!

Caso este post tenha lhe ajudado, por favor, marcar como solucionado ✓. Bons Estudos!
por Deusnir Portela
| 499.1k xp | 22 posts
assistente administrativo

Olá Monalisa Meyrelle de Sousa Silva tudo bem com vc??

Então eu estou passando esses valores na DAG formatando com strftime ao instanciar o elemento Operator que passa o valor para Hook se eu formatar novamente acusará um error porque o valor está em string quando passado do DAG para o Operator e por sua vez para o Hook

por Monalisa Meyrelle de Sousa Silva
| 2079.9k xp | 4620 posts
Alura Scuba Team Monitoria Fórum Ops

Oi Deusnir.

Desde já peço desculpas pela demora em obter um retorno.

Para te ajudar mais assertivamente, você poderia compartilhar o link do seu repositório no GitHub? Ou ainda, caso não tenha familiaridade, você pode compartilhar os códigos de cada arquivo aqui.

Fico no aguardo.

Fico no aguardo e à disposição
por Deusnir Portela
| 499.1k xp | 22 posts
assistente administrativo

Olá Manlisa!!

O link do projeto no GITHUB é esse https://github.com/xing-wang-kai/AIRFLOW_SPARK

Mas já foi resolvido o problema, quando eu rodo no airflow ele roda normalmente, somente quando eu tento rodar o código por comand que tenhho o error.

por Deusnir Portela
| 499.1k xp | 22 posts
assistente administrativo

O problema se auto resolveu, não sei porque quando eu rodo no terminal o operator ele não funciona informa o erro mas quando eu fiz a dag eu esqueci de tirar TaskIntance o que causava um erro no código, eu comentei a task Instance e rodou no airflow normalmente.

Insira aqui a descrição dessa imagem para ajudar na acessibilidade

Insira aqui a descrição dessa imagem para ajudar na acessibilidade