1
resposta

[Dúvida] Como acessar dados de um site que usa páginas dinamicas?

Terminei agora há pouco o curso de web scrapping com python e fui testar em sites de meu interesse, no caso o Apoia.se. Porém ao inspecionar o html do site eu encontro conteúdos que não estão disponiveis no soup gerado. Como faço para conseguir o conteudo integral e poder então tirar meus dados dele?

(já encontrei uma solução não elegante, salvar o html e trabalhar com o arquivo baixado, mas assim eu preciso manualmente acessar todas as páginas de pesquisa e salvar elas também manualmente perdendo a vantagem do scrapping)

1 resposta

Você pode usar um browser automator para fazer scrapping em páginas dinâmicas. Recomendo o Selenium. Aqui tem uma documentação um pouco mais detalhada para usar com python. Não é uma solução muito elegante também, mas funciona.