Un robots.txt permisivo no es suficiente si la CDN o el firewall devuelve un desafío, un error o una página vacía a los robots. Compare la respuesta realmente recibida con la esperada, luego corrija la regla precisa que bloquea el acceso a los recursos públicos.
Observar una URL representativa
Elija una página importante, su imagen y el archivo robots.txt. Tenga en cuenta el estado HTTP, las redirecciones, el tipo de contenido y el cuerpo devueltos. Un estado de 200 puede ocultar una página de verificación en lugar del elemento. Registre la fecha y el identificador de consulta proporcionado por la infraestructura, si está disponible. Un navegador conectado a la administración no es una prueba suficiente de acceso público.
Lea la respuesta completa, no solo su estado
El diagnóstico debe distinguir la solicitud, la respuesta y su contenido. Un éxito HTTP no prueba que el artículo fue servido. Por el contrario, un error encontrado una vez no es suficiente para caracterizar un bloqueo permanente. Compare las mismas URL con los tiempos documentados y, a continuación, busque las consultas relevantes en los registros de infraestructura.
| Respuesta observada | Hipótesis para verificar | Próximo cheque |
|---|---|---|
| 200 con el texto esperado | Acceso público disponible para esta solicitud | Compruebe también imágenes, enlaces y metadatos |
| 200 con un desafío de navegación | Protección servida en lugar de contenido | Ver el evento asociado en la CDN |
| 403 | acceso denegado de acuerdo con una regla o autorización | Identificar la capa que tomó la decisión |
| 429 | Limitación de flujo u otra regla de frecuencia | Leer encabezados y políticas aplicadas |
| Redirecciones sucesivas | Ruta de URL o configuración para revisar | Examine el destino final y las variantes de dominio |
Dado que Windows con curl.exe, los comandos a continuación le permiten mantener los encabezados y el cuerpo de la respuesta, luego identificar el destino final. Reemplace la dirección con una página pública que se le permite controlar. El dominio es ilustrativo; Estas líneas no demuestran resultados en su alojamiento. Con otro sistema, en particular, adaptar el nombre del ejecutable y el archivo de salida ignorado.
curl.exe -sS -D headers.txt -o page.html https://example.com/guide/
curl.exe -sS -L -o NUL -w "%{http_code} %{url_effective}\n" https://example.com/guide/Comparar los registros
Es posible que una solicitud bloqueada ascendente nunca llegue al servidor original. Compruebe los eventos de CDN y del servidor en la misma ventana de tiempo. Busque reglas de protección, límites de flujo y restricciones geográficas. No copie configuraciones confidenciales públicamente. El objetivo es aislar una regla que explique la brecha entre la respuesta esperada y la respuesta observada.
Verificar la identidad antes de una excepción
Se puede imitar un nombre de robot en el agente de usuario. Para Google, utilice los métodos publicados por el operador: verificación de DNS o rangos de direcciones oficiales, según su dispositivo. Para otro robot, consulte su documentación. Una simulación local del usuario-agente ayuda a probar una respuesta; No prueba que el robot real encuentre exactamente el mismo tratamiento.
Ejemplo ficticio: una imagen inaccesible
El HTML de una guía es accesible, pero su ilustración recibe un desafío porque se ha colocado una ruta de imagen bajo una protección demasiado amplia. El equipo solo corrige la política de los recursos públicos en cuestión, luego verifica las respuestas y los cargos. La prueba cubre las visitas regulares y el acceso verificado, sin abrir áreas de administración o funciones sensibles.
Construya una excepción limitada y verifique su efecto
Comience con una regla de prueba sobre el recurso público en cuestión. Tenga en cuenta el comportamiento antes y después, la identidad verificada del robot si es relevante y la duración de la prueba. Un cambio global en el firewall haría que esta capacidad de comparación desapareciera. También verifique los visitantes ordinarios: una excepción no debe romper su ruta o mostrar una respuesta diferente en la parte inferior.
- Correlacionar eventos con un identificador de consulta específico o una ventana de tiempo. Si el servidor original no ha recibido nada, comience con la capa ascendente.
- Distinguir entre la política robots.txt, el control de acceso y la protección de velocidad. Estos mecanismos responden a diferentes preguntas; Modificar uno no corrige automáticamente a los demás.
- Vuelva a reproducir las lecturas en la página, la imagen principal y una URL vecina. También verifique el resultado después de expirar o invalidar el caché de acuerdo con su método de infraestructura.
- Mantenga el procedimiento de backtracking y el administrador de seguimiento. El cierre de fallas corresponde a una respuesta correcta reproducida, no a la desaparición de una advertencia aislada.
Los Verificación oficial de consultas de Google Ayuda a identificar el acceso auténtico. Una simulación de encabezado no es suficiente para este paso. Para evitar mezclar identidad y acceso, continúe con el Control de la identidad de robots en registros.
Documentar la corrección
Mantenga la regla inicial, el cambio, el recurso y el método de retroceso. Luego esté atento a los errores en lugar de reducir todas las protecciones. En las herramientas de búsqueda, inspeccione las páginas representativas y permita tiempo para el procesamiento. Este control completa el Preparación técnica del sitio : No garantiza la indexación ni una cita. También verifique que las imágenes permanezcan disponibles después de que caduque el caché.