Bom dia, Gostaria de saber se é possível fazer scrapping utilizando o BeautifulSoup em sites que se tenha scroll infinito, para apresentar novos produtos. Apenas achei soluções utilizando selenium ou scrapy No site apresenta a seguinte tag:
<input id="auc-app-resoureces" name="appresources" type="hidden" value="{"minChars":2,"enableInfiniteScroll":true
,"enableInfiniteScrollPrevious":false,"defaultPageSize":24}">
Via código python é possível alterar o PageSize":24 para a quantidade desejada e o enableInfiniteScroll":true para false ?
Abaixo, o código apresentado no curso, seria possível efetuar isso substituindo o pages do código abaixo ou de alguma outra forma ?
# Obtendo o HTML
response = urlopen('https://www.auchan.pt/pt/biologicos-e-escolhas-alimentares/')
html = response.read().decode('utf-8')
soup = BeautifulSoup(html, 'html.parser')
pages = int(soup.find('span',class_="info-pages").get_text().split()[-1])
## Iterando por todas as páginas do site
for i in range(pages):
## Obtendo o HTML
response = urlopen('https://alura-site-scraping.herokuapp.com/index.php?page=' + str(i + 1))
Obrigado pela ajuda.