Um robots.txt permissivo não é suficiente se o CDN ou firewall retornar um desafio, um erro ou uma página vazia para os robôs. Compare a resposta realmente recebida com a esperada e corrija a regra precisa que bloqueia o acesso aos recursos públicos.
Observe um url representativo
Escolha uma página importante, sua imagem e o arquivo Robots.txt. Observação HTTP Status, redirecionamentos, tipo de conteúdo e corpo retornados. Um status 200 pode ocultar uma página de verificação em vez do item. Registre a data e o identificador de consulta fornecidos pela infraestrutura, se disponível. Um navegador conectado à administração não é um teste suficiente de acesso público.
Leia a resposta completa, não apenas seu status
O diagnóstico deve distinguir a solicitação, a resposta e seu conteúdo. Um sucesso HTTP não prova que o artigo foi veiculado. Por outro lado, um erro encontrado uma vez não é suficiente para caracterizar um bloqueio permanente. Compare os mesmos URLs com os horários documentados e, em seguida, pesquise as consultas relevantes nos logs da infraestrutura.
| resposta observada | Hipótese para verificar | Em seguida, verifique |
|---|---|---|
| 200 com o texto esperado | Acesso público disponível para esta solicitação | Verifique também imagens, links e metadados |
| 200 com um desafio de navegação | Proteção servida em vez de conteúdo | Exibir o evento associado no CDN |
| 403 | Acesso negado de acordo com uma regra ou autorização | Identifique a camada que tomou a decisão |
| 429 | Limitação de fluxo ou outra regra de frequência | Leia os cabeçalhos e a política aplicada |
| Redirecionamentos sucessivos | Rota do URL ou configuração para revisar | Examine o destino final e as variantes do domínio |
Desde o Windows com curl.exe, os comandos abaixo permitem que você mantenha os cabeçalhos e o corpo da resposta e identifique o destino final. Substitua o endereço por uma página pública que você pode controlar. O domínio é ilustrativo; Essas linhas não mostram resultados em sua hospedagem. Com outro sistema, em particular, adapte o nome do executável e o arquivo de saída ignorado.
curl.exe -sS -D headers.txt -o page.html https://example.com/guide/
curl.exe -sS -L -o NUL -w "%{http_code} %{url_effective}\n" https://example.com/guide/Comparar os registos
Uma solicitação bloqueada de upstream pode nunca chegar ao servidor original. Verifique o CDN e os eventos do servidor na mesma janela de tempo. Procure regras de proteção, limites de fluxo e restrições geográficas. Não copie as configurações sensíveis publicamente. O objetivo é isolar uma regra que explique a lacuna entre a resposta esperada e a resposta observada.
Verifique a identidade antes de uma exceção
Um nome de robô no agente do usuário pode ser imitado. Para o Google, use os métodos publicados pela operadora: verificação de DNS ou intervalos de endereço oficial, dependendo do seu dispositivo. Para outro robô, verifique sua documentação. Uma simulação local do usuário-agente ajuda a testar uma resposta; Isso não prova que o robô real encontra exatamente o mesmo tratamento.
Exemplo fictício: uma imagem inacessível
O HTML de um guia é acessível, mas sua ilustração recebe um desafio porque um caminho de imagem foi colocado sob proteção muito ampla. A equipe apenas corrige a política dos recursos públicos em questão e, em seguida, verifica as respostas e as cobranças. O teste abrange visitas regulares e acesso verificado, sem abrir áreas de administração ou funções confidenciais.
Construa uma exceção limitada e verifique seu efeito
Comece com uma regra de teste sobre o recurso público em questão. Observe o comportamento antes e depois, a identidade verificada do robô se for relevante e a duração do teste. Uma mudança global no firewall faria com que essa capacidade de comparação desaparecesse. Verifique também os visitantes comuns: uma exceção não deve interromper sua rota ou mostrar uma resposta diferente na parte inferior.
- Correlacionar eventos com um identificador de consulta específico ou janela de tempo. Se o servidor original não recebeu nada, comece com a camada upstream.
- Distinga entre a política robots.txt, controle de acesso e proteção de velocidade. Esses mecanismos respondem a questões diferentes; Modificar um não corrige automaticamente os outros.
- Repita as leituras na página, a imagem principal e um URL vizinho. Verifique também o resultado após expirar ou invalidar o cache de acordo com o método da sua infraestrutura.
- Mantenha o procedimento de retrocesso e o gerente de acompanhamento. O fechamento de falhas corresponde a uma resposta correta reproduzida, não ao desaparecimento de um aviso isolado.
Os Verificação oficial de consulta do Google Ajuda a identificar o acesso autêntico. Uma simulação de cabeçalho não é suficiente para esta etapa. Para evitar misturar identidade e acesso, continue com o Controle da identidade dos robôs em logs.
Documente a correção
Mantenha a regra inicial, a mudança, o recurso e o método de retrocesso. Em seguida, observe os erros em vez de diminuir todas as proteções. Nas ferramentas de pesquisa, inspecione as páginas representativas e permita tempo para processamento. Este controle completa o Preparação técnica do site : Não garante indexação ou citação. Verifique também se as imagens permanecem disponíveis após o término do cache.