Пользователь-агент — это заявление, а не подтверждение личности. Прежде чем давать исключение или интерпретировать такую же активность, как действие движка, проверьте запрос в соответствии с методами оператора. Сохраняйте результаты и учитывайте сетевых посредников.
из конкретного запроса
Обратите внимание на время, запрошенный путь, статус и адрес, наблюдаемые на правильном уровне инфраструктуры. Если перед сервером находится прокси или CDN, проверьте, как передается исходный адрес и какие источники являются надежными. Заголовка, предоставленного любым клиентом, должно быть недостаточно для идентификации машины. Поработайте над несколькими случаями, прежде чем обобщать на все журналы.
Применить официальный метод
Google документирует проверку по спискам адресов и методу DNS. Для проверки DNS вы должны проверить полученное имя, а затем подтвердить, что его прямое разрешение соответствует исходному адресу, при этом суффикс ожидается для этой категории. Не проверяйте имя только потому, что оно содержит слово Google. Ознакомьтесь с официальной информацией во время реализации.
Свяжите наблюдаемый адрес с правильной категорией робота
Документация Google выделяет несколько категорий роботов и инструментов восстановления. Адреса и шаблоны имен не должны интерпретироваться из этой категории. Прежде чем прийти к выводу, что запрос поступает от Googlebot, используйте соответствующий официальный метод и адрес, который действительно наблюдается на надежной границе вашей инфраструктуры. Адрес, скопированный из непроверенного заголовка, может быть выбран клиентом, отправляющим запрос.
| Шаг | Контроль | Ярлык, чтобы избежать |
|---|---|---|
| Начальный адрес | Определите надежный источник в журналах | Доверьтесь любому полученному заголовку |
| Обратное разрешение | Получить имя, связанное с адресом | принять имя, содержащее только слово google |
| Название и категория | Проверьте ожидаемый домен в соответствии с документацией | Запутанный инструмент, запущенный текущим пользователем и роботом |
| Прямое разрешение | Найдите начальный адрес из имени, которое вы получили | Остановитесь в обратном разрешении |
| Разрешение | Примените предполагаемый периметр доступа | открыть частную зону, потому что идентичность признается |
Суффикс должен быть проверен с помощью границы домена, а не простого поиска текста. Такое имя, как googlebot.com.example.net, не относится к домену googlebot.com. Однако, сравнивать одно имя недостаточно: сохраняйте прямую проверку разрешения или используйте опубликованные списки адресов в соответствии с выбранным методом.
Отдельная идентификация и авторизация
Идентифицированный робот должен получить доступ только к ресурсам, предназначенным для него. Общедоступная страница и интерфейс администрирования не имеют такой области. Документируйте исключения брандмауэра и их назначение. Идентификация помогает анализировать нагрузку и ошибки; Он не заменяет политику доступа, соответствующие ограничения и защиту чувствительных функций.
Вымышленный пример: увеличение запросов
Сайт видит многие доступы с именем двигателя с необычными путями. Команда проверяет образец и обнаруживает, что некоторые адреса не соответствуют опубликованным методам проверки. Затем он разделяет проверенный трафик и объявленный трафик, чтобы понять нагрузку. Не делается вывод, что официальный движок запустил эту деятельность на единственной основе формулировки.
Выполнить проверку и отслеживать
В подсказке Windows с помощью инструмента NSLookup начните с адреса, который вы просматриваете, а затем запросите фактически полученное имя. Две строки ниже являются моделями для замены, а не результатом управления. Не публикуйте необработанные журналы или настройки, которые могут содержать конфиденциальную информацию, чтобы проиллюстрировать статью.
nslookup ADRESSE_IP_OBSERVEE
nslookup NOM_RETOURNE_PAR_LA_PREMIERE_REQUETE- Обратите внимание на запрос Start, дату и уровень инфраструктуры, где был собран адрес. Если вмешивается прокси, задокументируйте конфигурацию, которая делает этот адрес надежным.
- противостоять решению имени и результатов с Официальные методы Google. Если шаг недоступен или неоднозначен, сохраните статус, чтобы проверить, а не подтвердить по умолчанию.
- Для большого объема подготовьте соответствующую автоматическую проверку с помощью политики обновления и управления ошибками. Избегайте медленной или блокирующей зависимости от каждого публичного запроса.
- Затем проанализируйте доступ и загрузите отдельно. Подтвержденная личность не доказывает ни успешного индексирования, ни качества отклика.
Полезным результатом является прослеживаемая классификация: идентичность, проверенная в соответствии с таким методом, неподтвержденная идентичность или неполная проверка. Свяжите эту информацию с CDN и диагностика брандмауэра Разобраться в отказе доступа, не путая декларацию робота с решением вашей инфраструктуры.
Сделайте контроль поддающимся ремонту
Планируйте обновление списков, управление временными сбоями и журнал ограниченными элементами. Избегайте блокировки DNS-поисков по каждому общедоступному запросу; Выберите подходящую архитектуру с вашей технической командой. После исправления проверьте ошибки и полезный доступ. В комплекте с Диагностика блокады CDN Чтобы отличить проблему идентичности от проблемы ответа.