Solucionado (ver solução)
Solucionado
(ver solução)
1
resposta

robots

Boa noite, gostaria de saber se o arquivo robots.txt, posso modificar a qualquer tempo?

se eu quiser não permitir uma página de ser indexada eu posso modificar a qualquer hora?

1 resposta
solução!

Você pode alterar a qualquer momento, mas leva um certo tempo para as spiders lerem sua página e indexar ou remover seu conteúdo.

Por exemplo quando você altera o robots, através das ferrementas de webmaster do google você pode solicitar a leitura/indexão de seu site e os robos irão consultar seu arquivo.

Mas existem diversas spiders que lêem conteúdo, por isso os efeitos não são instantâneos.