0
respostas

[Sugestão] Possível correção - (Extra) Importando outras fontes

No segundo modulo (02. Importando dados) no vídeo da atividade: 07. (Extra) Importando outras fontes é apresentado no primeiro exemplo a URL: https://unafiscosaude.org.br/site/tabelas-de-precos-dos-planos-ativos-para-comercializacao/

Tal URL é usada aos 07:00 minutos da aula para realizar uma leitura dos dados dos dataframes na URL com a função read_html do pacote pandas, acontece que atualmente o site não utiliza mais a URL para os dataframes que são mostrados, sendo assim pesquisando encontrei o exemplo do mesmo site mas agora dividido por tipo de plano do site sendo a URL: https://unafiscosaude.org.br/site/descricao-dos-planos-unafisco-saude/

Para o código da aula utilizei a mesma função com a URL:

df_html = pd.read_html('https://unafiscosaude.org.br/site/descricao-dos-planos-unafisco-saude/')
df_html[0]

Como a pagina possui mais de uma tabela é possível navegar usando os índices 0, 1, 2, ... da mesma pagina

Para o segundo exemplo usado na aula ao executar o código original:

df_html = pd.read_html('https://www.federalreserve.gov/releases/h3/current/default.htm')
df_html0[0]

Ao tentar executar o código da célula será retornado o erro na execução: HTTP Error 403: Forbidden. Este erro é causado normalmente devido à segurança do ModSecurity (é um firewall de aplicativo da web de código aberto) de detectar o bot de scraping do urllib (https://docs.python.org/3/library/urllib.html) e bloqueá-lo. Portanto, para resolvê-lo, precisamos incluir user-agent(s) em nosso scraper. Isso garantirá que possamos coletar os dados do site com segurança sem ser bloqueado e encontrar um erro. Tendo em vista tais fatos a solução apresentada pela Alura na atividade: 06. Para saber mais do mesmo módulo de utilizar métodos Request resolve os erros e apresenta os dataframes corrigindo assim os "erros" no scraper original da função.

Espero que o tópico venha ajudar alguém a entender a alteração e ajude nos estudos. Obrigado.

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software