Site Map | URL restrito por robots.txt

Daniel, posta o seu sitemap inteiro pra gente? E a mesangem de erro termina ai?

https://cristalisdesign.com.br/sitemap_index.xml Sim, a mensagem de erro termina ai. Segue o print da tela. http://ge.tt/8DSZw2q2

Acho que entendi: o seu robots.txt deve estar proibindo a leitura do sitemap! Posta o seu robots.txt pra gente

Onde eu encontro o robots.txt? No Yoast aparece a mensagem que no site não possui o arquivo.

entre no seusite.com.br/robots.txt, ele aparece?

Quando entro aparece as seguintes informações: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

Oi Daniel, testei aqui com outras ferramentas o seu robots.txt e sitemaps.xml e eles estão certinhos (como já me pareciam estar). Me parece ser apenas que o Google ainda não indexou seu site mesmo e o robots.txt antigo está em cache.

Faça o seguinte para ele pegar: No search console, vá em "Rastreamento" e "Buscar como Google" e deixe em branco o campo para indicar que você quer indexar tudo a partir da home. Na tela seguinte, clique em "solicitar indexação".

Essa operação pode levar minutos ou dias (geralmente no máximo 2 dias), não temos controle sobre isso, infelizmente.

De tempos em tempos, abra um Google e lá na busca dele digite "site:seusite.com.br" para ver se a indexação do seu site já ocorreu. Após ele estar indexado direitinho, volte no search console e tente novamente submeter o sitemaps, que deverá ir, pois aí o cache do seu robots.txt já deverá ter ido embora.

Você conta aqui pra nós o resultado?

Abraços

Ahh, por sinal, a ferramenta que gosto de utilizar pra testar os robots.txt é essa aqui: https://en.ryte.com/free-tools/robots-txt/

Basta você digitar qual URL quer verificar se está acessível, escolher qual o bot quer simular e ele te diz o resultado :)

Vou seguir as orientações que você passou e aguardar a indexação para submeter o sitemap novamente. Se limpar o cache será que ajuda? Obrigado.

Opa Daniel, acabei de googlar aqui seu site e agora já está tudo indexado :) Consegue testar se o search console pega o seu sitemaps?

Sobre a pergunta de limpar o cache, se você se refere ao do navegador, não, não seria ele não. Esse é um cache do próprio Google, pra ele não precisar ficar acessando todos os sites do mundo o tempo inteiro. Ele guarda um histórico, um pouco desatualizado, da indexação dos sites.

Testei e apareceu uma mensagem diferente: "O Sitemap contém URLs bloqueados pelo arquivo robots.txt." Segue o print da mensagem pra você ter uma ideia melhor http://ge.tt/7IbVI4q2.

Daniel, tentei abrir a imagem que voce linkou mas ela nao está carregando lá no seu link.

Essa mensagem na verdade é apenas um alerta, não necessariamente um erro. Tem algumas coisas que você pode investigar:

1) Alguma página que está no seu site possui uma diretiva "noindex" que está sobrepondo o robots.txt (nesse caso ele mostra esse alerta).

2) O seu sitemaps ainda está em cache no Google. Nesse caso você tem duas soluções: a) você pode fazer o mesmo processo que fez de "Buscar como Google" apontando para o seu sitemaps e esperar. b) Apenas esperar :)

Essa é uma coisa chata do SEO. Você acaba ficando bastante na mão dos buscadores. Mas pelo que vi aqui do seu sitemaps, robots.txt e algumas páginas, me parece que seu caso é o 2 e esperando, dentro de alguns dias o sitemaps já deverá ser pego corretamente.

Ainda assim, só dele já conseguir indexar seu site já está ótimo, pois de tempos em tempos ele vai usar a home do seu site para navegar por todas as páginas linkadas e com isso o Google vai atualizando os índices dele.

Agora o sitemap tá redondinho e já adicionei sem erros. Agora observei uma coisa, fiz uma busca no google por site:cristalisdesign.com.br e todas as páginas foram indexadas, porém vi que tanto as urls quanto o atributo ALT das imagens estão indexados como posts. Um exemplo: https://cristalisdesign.com.br/porta-de-vidro/porta-onix_cristalis-design-em-vidros/. Isso é comum?

Aeeee Daniel, legal que funcionou :) Parabéns pelo site!

Sobre a sua dúvida, é um bug que saiu em versões recentes do Yoast! e eles identificaram semana passada. Está aqui o anúncio oficial com os detalhes de como consertar: https://yoast.com/media-attachment-urls/

Por algum motivo ele liberou as páginas de attachments para indexação por padrão, mas não é o certo. Tem como desabilitar isso dentro das configurações do Yoast! (e vai levar um tempo para o Google pegar). Aliás, se for o seu caso, tente também atualizar a versão do Yoast! se já não estiver na versão mais recente.

Pra desabilitar, é só ir nas configurações do Yoast -> "Search Appearance" -> "Media" e definir a opção "Redirect attachment URLs to Attachment itself" para "Yes". Se você reparar, isso deve ter feito com que as imagens do seu site não fossem indexadas :(. Mas fique tranquilo que já já volta ao normal.

Espero ter podido ajudá-lo, Daniel e mais uma vez, parabéns pelo site. Qualquer outra dúvida que tiver, é só mandar.

Abraço

Obrigado Adriano, tá começando a ficar divertido. Já fiz a correção no Yoast, agora é esperar.