Oi, tudo bem? Consegui realizar os passos da técnica de Web Scrapping descritos na primeira aula, mas fiquei com algumas dúvidas: Qualquer site é suscetível a essa técnica ou é necessário que o site tenha algum plugin? Como funciona a leitura de dados com Web Scrapping? É verificado na página alguma lógica de consulta ao banco de dados e ele realiza a leitura... como funciona isso? Existe algum mecanismo que permita ao site se proteger de técnicas de Web Scrapping?
Desde já agradeço!
Olá Nicolas, tudo bem?
Então a técnica de web scrapping pode ser utilizada na maioria dos sites.
O funcionamento dele é da seguinte maneira, ele ler o arquivo HTML e aloca este espaço na memoria, com isto você pode fazer a filtragem que deseja ou pegar o conteúdo que está contido dentro do HTML.
Se você estiver fazendo um scrapping em uma pagina, o scrapping não vai ter acesso ao banco.
Existe alguns mecanismos que permitem o bloqueio do web scrapping, como por exemplo ao acessar alguma página ela tenha algum tipo de captcha, pode ser verificado o user-agent que está tentando acessar a página naquele momento entres outra maneiras de se proteger.
Bons estudos!