Solucionado (ver solução)
Solucionado
(ver solução)
2
respostas

Consulta de informações não retorna os valores da página

url = ('https://www.netimoveis.com/locacao/sao-paulo/sao-paulo/apartamento?transacao=locacao&localizacao=BR-SP-sao-paulo---&tipo=apartamento&pagina=1')
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
req = Request(url, headers = headers)
response = urlopen(req)
html = response.read().decode('utf-8')
soup = BeautifulSoup(html, 'html.parser')

dado = soup.find('div', {"class": "endereco"}).getText()
dado

Retorno:
{{ nomeBairro }}{{#if logradouroPublico}}, {{ logradouroPublico}}{{/if}}

Estou tentando buscar valores em uma página, no entanto, ele só trás informações genéricas.

Conseguem me ajudar?

2 respostas
solução!

Olá Rafael,

Olhando o site eu vi que ele depende de javascript para carregar o conteúdo da página, e para ler conteúdo gerado/carregado por javascript é necessário utilizar uma ferramenta mais poderosa como o selenium.

Nesse outro tópico eu expliquei um pouco sobre o selenium e coloquei um exemplo de uso.

Segue abaixo um link de um notebook com uma adaptação do seu código para utilizar o selenium:

https://colab.research.google.com/drive/1le3Zmv69L4SYEBnPazA5jC_Ul-txiQ80?usp=sharing

Espero ter ajudado, qualquer dúvida é só falar!

Muito Obrigado, Lucas!