Estou com o seguinte erro:
AirflowNotFoundException(f"The conn_id `{conn_id}` isn't defined")
airflow.exceptions.AirflowNotFoundException: The conn_id `twitter_default` isn't defined
OBSERVAÇÃO: Estou usando airflow dockerizado no windows 11. O container está up
Olá Álvaro!
O erro "AirflowNotFoundException: The conn_id twitter_default isn't defined" indica que o Airflow não encontrou a definição da conexão com o ID twitter_default. Esse erro geralmente ocorre quando você está tentando acessar uma conexão que não foi configurada corretamente no Airflow.
Para resolver esse problema, siga estes passos:
Verifique as conexões existentes: Verifique se você tem uma conexão com o ID twitter_default configurada no Airflow. Para isso, acesse a interface web do Airflow em seu navegador e vá para a seção "Admin" (gerenciamento). Em seguida, clique em "Connections" (conexões) para visualizar a lista de conexões existentes. Verifique se a conexão twitter_default está listada lá.
Criar a conexão se necessário: Se a conexão twitter_default não estiver listada, você precisará criá-la. Clique no botão "Create" (criar) na página de conexões para adicionar uma nova conexão. Preencha os detalhes da conexão, como o ID twitter_default, os dados de autenticação e qualquer outra informação necessária para a conexão com o Twitter. Certifique-se de salvar a conexão após preencher os detalhes.
Atualizar o Airflow: Se você criou a conexão, é uma boa ideia reiniciar o servidor Airflow para garantir que as alterações sejam carregadas corretamente. No ambiente Docker, você pode fazer isso parando e iniciando novamente o container do Airflow.
Verificar as configurações do Docker: Verifique se o container do Airflow está sendo executado corretamente no Docker. Verifique também se não há problemas com mapeamento de portas ou outros problemas de configuração que possam estar afetando o funcionamento do Airflow.
Verificar o acesso à conexão: Se a conexão twitter_default estiver listada corretamente nas configurações do Airflow e você ainda estiver enfrentando o erro, verifique se o código que está causando o erro está apontando para a conexão correta. Certifique-se de que o nome da conexão (conn_id) está correto no código.
Após seguir esses passos, o erro "AirflowNotFoundException: The conn_id twitter_default isn't defined" deve ser resolvido, e o Airflow deve ser capaz de encontrar e usar a conexão twitter_default corretamente.
Espero que isso ajude a resolver o problema! Se tiver mais perguntas ou precisar de mais assistência, não hesite em perguntar! Boa sorte com o Airflow!
Eu consegui resolver o problema executando assim o hook:
export AIRFLOW_HOME=SEU_CAMINHO_AQUI; python hooks/twitter_hook.py