Gostaria de saber em quais sites eu poderia fazer scraping web, em quais situações é ilegal? Vi um vídeo que dizia que colocando /robots.txt eu conseguiria ver as permissões, mas eu fiquei com mais dúvida ainda. Testei em um site e dizia assim :
- User-agent: *
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
Não consegui interpretar isso, significa que eu não poderia fazer scraping web nesse site ? Ou é de outra maneira que eu obtenho essa informação ? Tem algum material onde poderia ver mais sobre isso ? Os termos de uso do site é o que importa ?