El usuario-agente es una declaración, no una prueba de identidad. Antes de conceder una excepción o interpretar una actividad como la de un motor, verifique la consulta de acuerdo con los métodos del operador. Mantenga los resultados y tenga en cuenta los intermediarios de la red.
de una consulta específica
Tenga en cuenta la hora, la ruta solicitada, el estado y la dirección observados en el nivel correcto de la infraestructura. Si hay un proxy o CDN frente al servidor, compruebe cómo se transmite la dirección original y qué fuentes son confiables. Un encabezado proporcionado por cualquier cliente no debería ser suficiente para identificar una máquina. Trabaje en algunos casos antes de generalizar a todos los registros.
Aplicar el método oficial
Google documenta la verificación por sus listas de direcciones y el método DNS. Para una verificación de DNS, debe verificar el nombre obtenido y luego confirmar que su resolución directa corresponde a la dirección inicial, con el sufijo esperado para la categoría. No valides un nombre solo porque contiene la palabra Google. Consulta la información oficial durante la implementación.
Vincule la dirección observada a la categoría de robot correcta
La documentación de Google distingue varias categorías de robots y herramientas de recuperación. Las direcciones y los patrones de nombres no deben interpretarse fuera de esta categoría. Antes de concluir que una consulta proviene de Googlebot, utilice el método oficial y la dirección oficial correspondientes observadas en el borde confiable de su infraestructura. El cliente que envía la solicitud puede elegir una dirección copiada de un encabezado no verificado.
| Paso | Controlar | Atajo para evitar |
|---|---|---|
| Dirección de inicio | Identificar la fuente confiable en los registros | Confíe en cualquier encabezado recibido |
| resolución inversa | Obtener el nombre asociado con la dirección | Aceptar un nombre que contenga solo la palabra Google |
| Nombre y categoría | Compruebe el dominio esperado de acuerdo con la documentación | Herramienta confusa activada por un usuario y robot actuales |
| resolución directa | Encuentre la dirección inicial del nombre que obtuvo | Detener en resolución inversa |
| Autorización | Aplicar el perímetro de acceso previsto | Abra un área privada porque la identidad es reconocida |
Un sufijo debe verificarse con un límite de dominio, no mediante una simple búsqueda de texto. Un nombre como googlebot.com.ejemplo.net no pertenece al dominio googlebot.com. Sin embargo, comparar el nombre por sí solo no es suficiente: mantenga la verificación de resolución directa o use las listas de direcciones publicadas de acuerdo con el método elegido.
Identidad y autorización separadas
Un robot identificado solo debe acceder a los recursos previstos para ello. Una página pública y una interfaz de administración no tienen el mismo alcance. Documente las excepciones de firewall y su propósito. La identificación ayuda a analizar la carga y los errores; No reemplaza una política de acceso, una limitación adecuada y protección de funciones sensibles.
Ejemplo ficticio: un aumento de consultas
Un sitio ve muchos accesos con un nombre de motor, con trayectorias inusuales. El equipo verifica una muestra y encuentra que algunas direcciones no coinciden con los métodos de validación publicados. Luego separa el tráfico verificado y el tráfico declarado para comprender la carga. No concluye que el motor oficial haya lanzado esta actividad sobre la base exclusiva de una redacción.
Ejecute una comprobación al contado y realice un seguimiento
Desde un aviso de Windows con la herramienta nslookup, comience con la dirección de consulta que está revisando y luego consulte el nombre realmente obtenido. Las dos líneas a continuación son modelos para reemplazar, no un resultado de control. No publique sus revistas o configuraciones sin procesar que puedan contener información confidencial para ilustrar un artículo.
nslookup ADRESSE_IP_OBSERVEE
nslookup NOM_RETOURNE_PAR_LA_PREMIERE_REQUETE- Tenga en cuenta la solicitud de inicio, la fecha y el nivel de infraestructura donde se recopiló la dirección. Si interviene un proxy, documente la configuración que hace que esta dirección sea confiable.
- confrontar la resolución de nombre y resultados con Métodos oficiales de Google. Si un paso no está disponible o es ambiguo, mantenga el estado para verificar en lugar de confirmarlo de forma predeterminada.
- Para un volumen grande, prepare una verificación automatizada adecuada con una política de actualización y gestión de errores. Evite la dependencia lenta o bloqueando a cada solicitud pública.
- Luego analice el acceso y la carga por separado. Una identidad verificada no demuestra que no se indexe con éxito ni la calidad de la respuesta atendida.
El resultado útil es una clasificación trazable: identidad verificada según dicho método, identidad no confirmada o verificación incompleta. Vincule esta información a Diagnósticos de CDN y cortafuegos Para entender una negativa de acceso, sin confundir la declaración del robot con la decisión de su infraestructura.
hacer que el control sea mantenible
Planee actualizar las listas, administrar fallas temporales y registrar los elementos necesarios. Evite bloquear las búsquedas de DNS en todas las consultas públicas; Elija una arquitectura adecuada con su equipo técnico. Después de la corrección, verifique los errores y el acceso útil. completo con el Diagnóstico de bloqueos de CDN distinguir un problema de identidad de un problema de respuesta.