Problema com a conexão do Twitter

Olá Edson, tudo bem ? Espero que sim.

Quanto a mensagem de 404 Not Found quando clicamos em testar a conexão, ela não é um problema, porque a maneira como o Airflow está testando a conexão é incorreta, então não é um teste valido para nós.

Agora se tiver recebendo alguma mensagem quando vai rodar a DAG, gostaria de pedir por favor se consegue me mandar o erro por um print da tela ou copiando o erro aqui.

Aguardo sua mensagem para resolver junto com você esse ponto.

Bons Estudos.

Recebi o mesmo retorno e não consigo criar a conexão com o Twitter pelo Airflow, mesmo seguindo o passo a passo do vídeo no Capítulo 2 , video 08, Eng. de Dados Apache Airflow).

Criei uma nova conexão twitter_default com o Twitter tipo HTTP apontando para a url da API conf. passo a passo do curso (video Capítulo 2 , video 08, Eng. de Dados Apache Airflow), mas ao informar o dicionário json {“Authorization”: “Bearer} e salvar a conexão, dá o seguinte erro: 404:Not Found.

Acredito que não é o formato do dicionário json do campo "Extra", pois quando coloquei com aspas simples, deu a mensagem: The Extra connection field contained an invalid value for Conn ID: twitter_default. If connection parameters need to be added to Extra, please make sure they are in the form of a single, valid JSON object.

Então, voltei para aspas duplas. Testei o bearer token num caderno do Jupyter e funcionou a extração do Twitter, mas desejo criar uma conexão no Airflow para utilizá-la com gancho e poder gerenciar o fluxo do trabalho.

A url da API do Twitter é esta mesmo? Porque no browser de fato, não retorna nada para este endereço: https://api.twitter.com.

[02:22] O próximo campo é o host, ou seria a URL da nossa API. Para isso, nós vamos utilizar a mesma URL que vimos no vídeo anterior. Então, se formos aqui no nosso código, você vai ver que a URL começa com https e ele tem api.twitter.com, então esse é o nosso host que vamos utilizar aqui na nossa conexão. Então eu colo ele no campo host “https://api.twitter.com”.

Olá Luciana e Edson,

Compreendemos a sua situação e entendemos que pode ser frustrante enfrentar problemas ao criar a conexão com a API do Twitter pelo Airflow. No entanto, temos uma alternativa, que é utilizar uma API alternativa.

As instruções detalhadas de como utilizar essa API alternativa estão na nova atividade do curso, "Aula 1 - Atividade 6 - Preparando o ambiente: API alternativa do Twitter", acessível pelo link https://cursos.alura.com.br/course/apache-airflow-transformacao-dados-spark/task/127948. Essas instruções fornecem uma explicação passo a passo de como utilizar a API alternativa para coletar os dados do Twitter necessários para o curso.

Caso tenha mais dúvidas, por favor, não hesite em perguntar.

Bons estudos!