Erros na Indexação do Blog - Restringido por robots.txt
Já publicamos muitas dicas sobre como fazer seu blog aparecer nos resultados do Google e outros sites de busca usando os sitemaps da central de webmasters do próprio Google:
Ferramentas para Webmasters - Sitemaps
Indexar todas as paginas no Google - Sitemaps
E também outras técnicas que ajudam a otimizar seu blog e conseguir mais visitas:
Personalizar e Otimizar Título do Blog - Aparecer no Google
Aparecer na Pesquisa de imagens Google
Usar Melhor as Redes Sociais da Internet - Mídias Sociais
Mas sempre sobram algumas duvidas e uma delas é sobre os Erros de rastreamento (Problemas que o Google encontrou ao rastrear o seu site), ou seja, problemas para indexar as paginas do seu blog. O principal deles é Restringido por robots.txt que vamos falar mais adiante.
Os outros erros você pode tentar verificar, pois geralmente são paginas inacessíveis ou não encontradas, quer dizer alguma url errada, então se for possível corrija essas falhas o que nem sempre é possível, por exemplo, no caso de comentários ou postagens excluídas.
Agora quando as paginas Restringidas por robots.txt não tem o que fazer, pois isso é um arquivo padrão do blogger ele está no endereço: http://seublog.blogspot.com/robots.txt. Na verdade isso impede a indexação de paginas como as dos marcadores evitando o conteúdo duplicado no seu blog.
Por exemplo, faço uma postagem sobre um seriado de televisão e coloco os marcadores: serie de TV, suspense, download e assistir online.
Se não fosse esse arquivo o Google iria rastrear 5 vezes a mesma coisa no meu blog: a pagina da postagem e os 4 marcadores, passando a idéia que publiquei 5 vezes a mesma coisa no meu blog parecendo conteúdo duplicado e certamente os mecanismos de busca não gostam disso.
Por esse motivo não precisa se preocupar com esse erro de indexação do seu blog, pois na verdade ele ajuda seu blog, mas certamente deve explorar a pagina da central para webmasters e fazer uma analise das informações certamente achará coisas úteis para melhorar seu blog.
Ferramentas para Webmasters - Sitemaps
Indexar todas as paginas no Google - Sitemaps
E também outras técnicas que ajudam a otimizar seu blog e conseguir mais visitas:
Personalizar e Otimizar Título do Blog - Aparecer no Google
Aparecer na Pesquisa de imagens Google
Usar Melhor as Redes Sociais da Internet - Mídias Sociais
Mas sempre sobram algumas duvidas e uma delas é sobre os Erros de rastreamento (Problemas que o Google encontrou ao rastrear o seu site), ou seja, problemas para indexar as paginas do seu blog. O principal deles é Restringido por robots.txt que vamos falar mais adiante.
Os outros erros você pode tentar verificar, pois geralmente são paginas inacessíveis ou não encontradas, quer dizer alguma url errada, então se for possível corrija essas falhas o que nem sempre é possível, por exemplo, no caso de comentários ou postagens excluídas.
Agora quando as paginas Restringidas por robots.txt não tem o que fazer, pois isso é um arquivo padrão do blogger ele está no endereço: http://seublog.blogspot.com/robots.txt. Na verdade isso impede a indexação de paginas como as dos marcadores evitando o conteúdo duplicado no seu blog.
Por exemplo, faço uma postagem sobre um seriado de televisão e coloco os marcadores: serie de TV, suspense, download e assistir online.
Se não fosse esse arquivo o Google iria rastrear 5 vezes a mesma coisa no meu blog: a pagina da postagem e os 4 marcadores, passando a idéia que publiquei 5 vezes a mesma coisa no meu blog parecendo conteúdo duplicado e certamente os mecanismos de busca não gostam disso.
Por esse motivo não precisa se preocupar com esse erro de indexação do seu blog, pois na verdade ele ajuda seu blog, mas certamente deve explorar a pagina da central para webmasters e fazer uma analise das informações certamente achará coisas úteis para melhorar seu blog.
Marcadores: Configurações Avançadas, Seo, Sites Úteis