Olá a todos! Estou seguindo o curso e instalei o Airflow sem problemas, adicionei a conexão do Twitter sem problemas. Mas quando rodei a DAG deu erro de not found para o endereço https://api.twitter.com. Tentei pelo navegador e clicando em testar na conexão e da o mesmo erro. O que fazer?
Olá Edson, tudo bem ? Espero que sim.
Quanto a mensagem de 404 Not Found quando clicamos em testar a conexão, ela não é um problema, porque a maneira como o Airflow está testando a conexão é incorreta, então não é um teste valido para nós.
Agora se tiver recebendo alguma mensagem quando vai rodar a DAG, gostaria de pedir por favor se consegue me mandar o erro por um print da tela ou copiando o erro aqui.
Aguardo sua mensagem para resolver junto com você esse ponto.
Bons Estudos.
Recebi o mesmo retorno e não consigo criar a conexão com o Twitter pelo Airflow, mesmo seguindo o passo a passo do vídeo no Capítulo 2 , video 08, Eng. de Dados Apache Airflow).
Criei uma nova conexão twitter_default com o Twitter tipo HTTP apontando para a url da API conf. passo a passo do curso (video Capítulo 2 , video 08, Eng. de Dados Apache Airflow), mas ao informar o dicionário json {“Authorization”: “Bearer} e salvar a conexão, dá o seguinte erro: 404:Not Found.
Acredito que não é o formato do dicionário json do campo "Extra", pois quando coloquei com aspas simples, deu a mensagem: The Extra connection field contained an invalid value for Conn ID: twitter_default. If connection parameters need to be added to Extra, please make sure they are in the form of a single, valid JSON object.
Então, voltei para aspas duplas. Testei o bearer token num caderno do Jupyter e funcionou a extração do Twitter, mas desejo criar uma conexão no Airflow para utilizá-la com gancho e poder gerenciar o fluxo do trabalho.
A url da API do Twitter é esta mesmo? Porque no browser de fato, não retorna nada para este endereço: https://api.twitter.com.
[02:22] O próximo campo é o host, ou seria a URL da nossa API. Para isso, nós vamos utilizar a mesma URL que vimos no vídeo anterior. Então, se formos aqui no nosso código, você vai ver que a URL começa com https e ele tem api.twitter.com, então esse é o nosso host que vamos utilizar aqui na nossa conexão. Então eu colo ele no campo host “https://api.twitter.com”.
Olá Luciana e Edson,
Compreendemos a sua situação e entendemos que pode ser frustrante enfrentar problemas ao criar a conexão com a API do Twitter pelo Airflow. No entanto, temos uma alternativa, que é utilizar uma API alternativa.
As instruções detalhadas de como utilizar essa API alternativa estão na nova atividade do curso, "Aula 1 - Atividade 6 - Preparando o ambiente: API alternativa do Twitter", acessível pelo link https://cursos.alura.com.br/course/apache-airflow-transformacao-dados-spark/task/127948. Essas instruções fornecem uma explicação passo a passo de como utilizar a API alternativa para coletar os dados do Twitter necessários para o curso.
Caso tenha mais dúvidas, por favor, não hesite em perguntar.
Bons estudos!