Boa noite, gostaria de saber se o arquivo robots.txt, posso modificar a qualquer tempo?
se eu quiser não permitir uma página de ser indexada eu posso modificar a qualquer hora?
Você está vendo a versão anterior da nova experiência da Alura que estamos preparando para você. Em breve, ela ganha uma identidade visual novinha totalmente pensada em potencializar seus estudos!
Solucionado
Boa noite, gostaria de saber se o arquivo robots.txt, posso modificar a qualquer tempo?
se eu quiser não permitir uma página de ser indexada eu posso modificar a qualquer hora?
Você pode alterar a qualquer momento, mas leva um certo tempo para as spiders lerem sua página e indexar ou remover seu conteúdo.
Por exemplo quando você altera o robots, através das ferrementas de webmaster do google você pode solicitar a leitura/indexão de seu site e os robos irão consultar seu arquivo.
Mas existem diversas spiders que lêem conteúdo, por isso os efeitos não são instantâneos.