Em uma aula o instrutor fala sobre o robot.txt, eu como nunca tinha ouvido falar fui buscar sobre e me deparo com isso do google:
Um arquivo robots.txt informa aos rastreadores do mecanismo de pesquisa quais páginas ou arquivos podem ser solicitados a partir do seu site. Esse recurso é usado principalmente para evitar a sobrecarga do site com solicitações e não funciona como um mecanismo para manter uma página da Web fora dos resultados da pesquisa do Google. Para fazer isso, use tags ou diretivas noindex ou proteja sua página com uma senha.
Então creio que pode estar errado esta parte na aula.
