Tenho testado para outras pages de sites e aparece sempre o erro -HTTP Error 403: Forbidden. Como testar o Scrapping para outros sites? quais permissões serão necessarias? tenho que estar cadastrado como usario do site para aplicar scrapping em sua pagina?
hoje, com a Alura e o Google Gemini
Oii Alexandre, como você está?
Peço desculpas pela demora em obter um retorno.
Como testar o Scraping para outros sites? Quais permissões serão necessárias? tenho que estar cadastrado como usuário do site para aplicar scrapping em sua página?
Tudo depende de qual site você almeja fazer o scraping. Supondo que seja um site aberto que não exija login, o que é indispensável é definir o user-agent, para que o código seja capaz de simular o navegador, então para a maioria desses casos, o procedimento é como mostrado no curso.
Já em casos que o site tenha login, temos algumas possibilidades:
Primeira: parametrizar a requisição com os cookies da página
Segunda: efetuar uma requisição POST com os parâmetros da requisição
Terceira: automatizar o procedimento, fazendo com que o código seja capaz de digitar informações, clicar em botões, etc.
Para fazermos isso, o primeiro passo é identificar no site qual cookie iremos utilizar. Normalmente, os sites possuem vários cookies, então devemos analisar e pegar apenas aquele que contém informações sobre a autenticação no site. Esse tipo de cookie geralmente contém em seu nome palavras como login ou session.
Para acessar esse cookie, é importante que você esteja logado nesse site e clique no ícone de cadeado no canto superior esquerdo da página. E identifique o cookie desejado, como mostro na imagem abaixo:
Ao clicar nesse cadeado, será aberta uma janela onde será possível localizar uma pasta com os cookies da página e após identificar o desejado, basta copiar o seu conteúdo:
Nisso, dentro da biblioteca de requisições, a request, há um parâmetro para passarmos o cookie, ficará da seguinte forma:
from bs4 import BeautifulSoup
from urllib.request import urlopen
import requests
cookies = {'nome_do_cookie' : 'conteudo_do_cookie''}
response = requests.get(url, cookies = cookies)
html = response.text
soup = BeautifulSoup(html, 'html.parser')Por padrão, o campo de login e senha é um formulário. E quando trabalhamos com programação web, um formulário é enviado via requisição POST, então, podemos também simular essa requisição. Para isso, é necessário abrir a ferramenta de desenvolvedor e na guia Network, observar qual requisição POST é feita quando clicamos para efetuar o login. E quando localizarmos essa requisição, é necessário atentar-se ao campo form-data, que possui os parâmetros da requisição POST:
Para o exemplo da imagem acima onde temos no Form Data os parâmetros username, password e uriOnError, o código fica da seguinte forma:
with requests.Session() as session:
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36'}
payload = {'username': USERNAME, 'password': PASSWORD, 'uriOnError': ''}
s = session.post(url, payload, headers)
s = session.get(url_interna)
soup = BeautifulSoup(s.text, 'html.parser')Continua...
Para automatizar esse processo com um programa mais dinâmico que faça o login de forma automática, precisamos utilizar uma biblioteca chamada Selenium. Essa biblioteca permite que seu programa interaja de forma mais dinâmica com a página, digitando textos, clicando em botões, dentre outras coisas, ou seja, você irá executar o código e ele automaticamente interage com as páginas por você. Para conseguirmos utilizar essa biblioteca é necessário baixar o driver do navegador que você está utilizando. Esse driver permitirá que o Selenium acesse seu navegador e execute os procedimentos desejados.
Caso você use o Chrome, você pode acessar essa página e escolher uma versão mais recente que seja compatível com o seu sistema operacional, e, caso seu navegador seja o Firefox, você pode clicar aqui para fazer o download.
Em relação a código, abaixo um exemplo de fazermos login com o Selenium no site do Linkedin :
from selenium.webdriver import Firefox
from bs4 import BeautifulSoup
url_login = ('https://www.linkedin.com/login/')
driver = Firefox()
driver.get(url_login)
driver.find_element_by_name("session_key").send_keys("SEU EMAIL")
driver.find_element_by_name("session_password").send_keys("SUA SENHA")
driver.find_element_by_xpath('//button[@data-litms-control-urn="login-submit"]').click()
driver.get(alguma_url_interna_do_linkedin)
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.close()É válido dizer que todas essas são soluções alternativas - sendo o Selenium a mais poderosa delas. Em alguns casos apenas com o cookie você já conseguirá obter os dados, já em outros, terá que recorrer a algo mais robusto como o selenium.
Mas de todo modo, se me permite, aqui vão algumas dicas para o cenário de web scraping:
Qualquer dúvida fico à disposição.
Grande abraço e bons estudos!