Solucionado
Finalizei a aula de web scraping, excelente no entanto não contemplou um problema que tive. Diferentemente do site do professor, o site a qual estou trabalhando requisita que eu clique em um botão para expandir o conteúdo, e eu não achei ferramenta para clicar este botão, não da pra fazer alteração no link, como na aula, ja que ele não se altera, visto que é apenas uma expansão de pagina e não uma próxima
segue o site ao qual estou fazendo o scraping: https://alertalicitacao.com.br/!estado/GO
Olá João Paulo, tudo bem? Espero que sim!
Ao inspecionar a página, clicar na aba Rede e atualizar a página, você verá que são mostradas diversas requisições do site em questão a outros objetos. Após clicar no botão Carregar mais, uma nova requisição é mostrada com o link https://alertalicitacao.com.br/ajax/e.php?e=GO&paginaAjax=1. Se você clicar mais uma vez no botão carregar mais, o número final do link mudará para 2. Isso significa que os dados estão sendo carregados a partir de uma API, com páginas numeradas de 0 até o limite máximo de registros, que pelo que pude observar é o número 5.
Você pode fazer o scraping a partir desse link da API, alterando em um loop for as páginas de 0 a 5.
Segue abaixo uma imagem com os passos enumerados para localizar o link da API.
Outra forma de realizar o procedimento seria através de uma biblioteca disponível para Python com o nome Selenium, onde é possível fazer o scraping de páginas dinâmicas, que possuem botões.
Deixo abaixo links de tópicos em que são mostrados exemplos de utilização do selenium, bem como a documentação:
Qualquer dúvida, estou à disposição para ajudar.
Bons estudos!
Excelente Resposta! Nunca mexi com Hmtl antes, não sabia dessa aba de redes. Eu acabei descobrindo esse site https://alertalicitacao.com.br/ajax/e.php?e=GO&paginaAjax=1 após ler e rele minuciosamente todo o script e depois entender que o botao é uma função que chamava esse site, certamente com esse novo entendimento os demais trabalhos serão bem mais rapidos! Obrigado!