O User-Agent é uma declaração, não uma prova de identidade. Antes de conceder uma exceção ou interpretar uma atividade como a de um mecanismo, verifique a consulta de acordo com os métodos do operador. Mantenha os resultados e leve em consideração os intermediários da rede.
de uma consulta específica
Observe a hora, o caminho solicitado, o status e o endereço observados no nível certo da infraestrutura. Se um proxy ou CDN estiver na frente do servidor, verifique como o endereço original é transmitido e quais fontes são confiáveis. Um cabeçalho fornecido por qualquer cliente não deve ser suficiente para identificar uma máquina. Trabalhe em alguns casos antes de generalizar para todos os registos.
Aplicar o método oficial
O Google documenta a verificação por suas listas de endereços e pelo método DNS. Para uma verificação de DNS, você deve verificar o nome obtido e, em seguida, confirmar que sua resolução direta corresponde ao endereço inicial, com o sufixo esperado para a categoria. Não valide um nome apenas porque contém a palavra Google. Verifique as informações oficiais durante a implementação.
Vincule o endereço observado à categoria correta do robô
A documentação do Google distingue várias categorias de robôs e ferramentas de recuperação. Endereços e padrões de nomes não devem ser interpretados fora desta categoria. Antes de concluir que uma consulta vem do Googlebot, use o método oficial e o endereço apropriados observados na borda confiável de sua infraestrutura. Um endereço copiado de um cabeçalho não verificado pode ser escolhido pelo cliente que envia a solicitação.
| Passo | Controlar | Atalho a evitar |
|---|---|---|
| Endereço inicial | Identifique uma fonte confiável em logs | confie em qualquer cabeçalho recebido |
| Resolução reversa | Obtenha o nome associado ao endereço | Aceite um nome contendo apenas a palavra Google |
| Nome e categoria | Verifique o domínio esperado de acordo com a documentação | Ferramenta confusa acionada por um usuário e robô atuais |
| resolução direta | Encontre o endereço inicial do nome que você recebeu | Pare na resolução reversa |
| Autorização | Aplicar o perímetro de acesso pretendido | Abra uma área privada porque a identidade é reconhecida |
Um sufixo deve ser verificado com um limite de domínio, não por uma simples pesquisa de texto. Um nome como googlebot.com.example.net não pertence ao domínio googlebot.com. No entanto, comparar o nome por si só não é suficiente: mantenha a verificação da resolução direta ou use as listas de endereços publicadas de acordo com o método escolhido.
Identidade e autorização separadas
Um robô identificado deve acessar apenas os recursos destinados a ele. Uma página pública e uma interface de administração não têm o mesmo escopo. Documente exceções de firewall e suas finalidades. A identificação ajuda a analisar a carga e os erros; Não substitui uma política de acesso, limitação adequada e proteção de funções sensíveis.
Exemplo fictício: um aumento nas consultas
Um site vê muitos acessos com um nome de motor, com caminhos incomuns. A equipe verifica uma amostra e descobre que alguns endereços não correspondem aos métodos de validação publicados. Em seguida, ele separa o tráfego verificado e o tráfego declarado para entender a carga. Não conclui que o motor oficial tenha lançado essa atividade com base única em uma redação.
Faça uma verificação local e acompanhe
Em um prompt do Windows com a ferramenta nslookup, comece com o endereço de consulta que você está analisando e, em seguida, consulte o nome realmente obtido. As duas linhas abaixo são modelos para substituir, não um resultado de controle. Não publique seus diários brutos ou configurações que podem conter informações confidenciais para ilustrar um artigo.
nslookup ADRESSE_IP_OBSERVEE
nslookup NOM_RETOURNE_PAR_LA_PREMIERE_REQUETE- Observe o nível de solicitação, data e infraestrutura em que o endereço foi coletado. Se um proxy intervir, documente a configuração que torna esse endereço confiável.
- Confrontar a resolução de nomes e resultados com Métodos oficiais do Google. Se uma etapa estiver indisponível ou ambígua, mantenha o status a ser verificado em vez de confirmar por padrão.
- Para um grande volume, prepare uma verificação automatizada adequada com uma política de atualização e gerenciamento de erros. Evite dependências lentas ou de bloqueio de cada solicitação pública.
- Em seguida, analise o acesso e carregue separadamente. Uma identidade verificada não prova nem a indexação bem-sucedida nem a qualidade da resposta apresentada.
O resultado útil é uma classificação rastreável: identidade verificada de acordo com esse método, identidade não confirmada ou verificação incompleta. Vincule essas informações a Diagnósticos de CDN e firewall Compreender uma recusa de acesso, sem confundir a declaração do robô com a decisão de sua infraestrutura.
Torne o controle sustentável
Planeje atualizar listas, gerencie falhas temporárias e registre-se limitado aos itens necessários. Evite bloquear pesquisas de DNS em todas as consultas públicas; Escolha uma arquitetura adequada com sua equipe técnica. Após a correção, verifique os erros e o acesso útil. Complete com o Diagnóstico de bloqueios de CDN Para distinguir um problema de identidade de um problema de resposta.