Blog Central para Webmasters
Informação Oficial sobre classificação e indexação dos sites no índice do Google
Testar os arquivos robots.txt ficou mais fácil
quarta-feira, 16 de julho de 2014
Rastrear, ou não rastrear, eis a pergunta.
Às vezes, criar e manter os arquivos robots.txt corretos pode ser difícil. Embora muitos sites não tenham problemas com isso (dica: eles geralmente nem precisam de um arquivo robots.txt!), encontrar as diretivas em um grande arquivo robots.txt que estão ou estavam bloqueando URLs individuais, pode ser um pouco complicado. Para facilitar esse processo, anunciamos uma atualização na
ferramenta de teste de arquivos robots.txt
nas Ferramentas do Google para webmasters.
A ferramenta de teste atualizada está na seção Rastreamento das
Ferramentas do Google para webmasters
:
Aqui você encontrará o arquivo robots.txt e poderá testar os novos URLs para verificar se eles estarão desautorizados para rastrear. A fim de guiá-lo através das diretivas complexas, a ferramenta destacará a diretiva específica que levou à decisão final. É possível realizar alterações no arquivo e testá-las também. Para tal, basta fazer o upload da nova versão do arquivo com as alterações para o servidor para que elas entrem em vigor. Nosso site para desenvolvedores tem
mais informações sobre as diretivas do robots.txt e como os arquivos são processados
.
Além disso, será possível revisar as versões mais antigas do seu arquivo robots.txt e saber quando problemas de acesso nos impedem de fazer o rastreamento. Por exemplo, se o Googlebot verificar um erro de servidor 500 para o arquivo robots.txt, normalmento faremos uma pausa do rastreamento do site.
Já que é possível haver alguns erros ou alertas exibidos para seus sites existentes, recomendamos voltar a verificar seus arquivos robots.txt. Também é possível combinar esta nova funcionalidade com outras partes das Ferramentas do Google para webmasters. Por exemplo, é possível usar a
ferramenta Buscar como Google
, recentemente atualizada, para processar páginas importantes no seu website. Se for informado que qualquer URL foi bloqueado, use a ferramenta de teste de robots.txt para encontrar a diretiva que o está a bloquear e melhore o seu arquivo robots.txt. Um problema comum já visto ocorre a partir de arquivos robots.txt antigos que bloqueiam CSS, JavaScript ou conteúdo para celular. Corrigir esse problema é fácil após identificá-lo.
Esperamos que essa ferramenta atualizada facilite o teste e a manutenção do arquivo robots.txt. Em caso de dúvidas ou se precisar de ajuda para criar um bom conjunto de diretivas, passe no
fórum de ajuda para webmasters
.
Escrito por Asaph Arnon, Equipe de Webmaster Tools
Publicado por
Diogo Botelho
, Equipe de Search Quality e Webmaster Outreach
Sem comentários :
Enviar um comentário
Marcadores
Academia para Webmasters
ações manuais
Anúncios
API
aplicativos
avançado
Buscar como o Google
cms
comunicação
comunidade webmaster
conteúdo duplicado
Contribuidores Principais
css
dados estruturados
design responsivo
diretrizes para webmasters
dispositivos móveis
engenharia social
erros de rastreamento
estrutura do website
ferramentas e dispositivos
ferramentas para webmasters
Google notícias
Google+
hreflang
HTTPS
indexação de aplicativos móveis
iniciante
intersticiais
invasão de sites
javascript
links
localização
malware
mudança de site
navegação segura
pagespeed insights
phishing
preenchimento automático
rastreio e indexação
recomendações
reconsiderações
resultados de pesquisa
robots.txt
safe browsing
Search Console
segurança
sitemaps
TC Summit
url canônico
verificação
verificação em duas etapas
Arquivo do blog
2016
janeiro
2015
dezembro
novembro
outubro
setembro
agosto
julho
junho
maio
abril
março
janeiro
2014
novembro
outubro
setembro
agosto
julho
Testar os arquivos robots.txt ficou mais fácil
Solução de problemas com anotações hreflang nas Fe...
junho
maio
abril
março
Feed
Recursos disponíveis para Webmasters:
Ferramentas do Google para Webmasters
Fórum de Ajuda para Webmasters
Central de Ajuda
Outros Artigos Publicados
Guia de Otimização para Webmasters Iniciantes
Perguntas Frequentes de Webmasters
Sem comentários :
Enviar um comentário