1
resposta

Duvida sobre o tema Web Scraping na MagaLu

Bom dia,

      Na pergunta do  Lucas Reis Abreu, ele teve problemas com o acesso ao site da Magalu e ao analisar o arquivo https://www.magazineluiza.com.br/robots.txt e a pesquisa que fiz manualmente https://www.magazineluiza.com.br/busca/tablet/?page=17

ele tem o /busca/tablet/page=17

Agente do usuário: Googlebot

Não permitir: /busca//? -- Para o Googlebot ele não permit para busca ?

Não permitir: /s/---*-- -- -- Para o Googlebot ele fecha tudo ?

Agente de usuário: *

Não existe nenhuma referencia a permitir: /busca//? ou a Não permitir: /s/---*--

Neste caso ele estaria aberto para eu pesquisar /busca ?

1 resposta

Oi Nathália,

Você poderia reformular a pergunta? Ficou um pouco confusa a forma como o texto foi enviado e não consegui entender muito bem a dúvida.

Fico no aguardo Valeu

Quer mergulhar em tecnologia e aprendizagem?

Receba a newsletter que o nosso CEO escreve pessoalmente, com insights do mercado de trabalho, ciência e desenvolvimento de software