Boa noite, gostaria de saber se o arquivo robots.txt, posso modificar a qualquer tempo?
se eu quiser não permitir uma página de ser indexada eu posso modificar a qualquer hora?
Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta
resposta
robots
solução!
Você pode alterar a qualquer momento, mas leva um certo tempo para as spiders lerem sua página e indexar ou remover seu conteúdo.
Por exemplo quando você altera o robots, através das ferrementas de webmaster do google você pode solicitar a leitura/indexão de seu site e os robos irão consultar seu arquivo.
Mas existem diversas spiders que lêem conteúdo, por isso os efeitos não são instantâneos.