Разрешения robots.txt недостаточно, если CDN или брандмауэр возвращает роботам вызов, ошибку или пустую страницу. Сравните фактически полученный ответ с ожидаемым, а затем исправьте точное правило, блокирующее доступ к общедоступным ресурсам.
Соблюдайте репрезентативный URL-адрес
Выберите важную страницу, ее изображение и файл robots.txt. Обратите внимание на состояние HTTP, перенаправление, тип содержимого и возвращенное тело. Статус 200 может скрыть страницу проверки вместо элемента. Запишите идентификатор даты и запроса, предоставленные инфраструктурой, если таковые имеются. Браузер, подключенный к администрации, не является достаточным тестом публичного доступа.
Прочитайте полный ответ, а не только его статус
Диагностика должна различать запрос, ответ и его содержание. Успех HTTP не доказывает, что статья была подана. И наоборот, найденной один раз ошибки недостаточно, чтобы охарактеризовать постоянную блокировку. Сравните те же URL-адреса с документированными разами, а затем найдите соответствующие запросы в журналах инфраструктуры.
| Наблюдаемый ответ | Гипотеза для проверки | Следующая проверка |
|---|---|---|
| 200 с ожидаемым текстом | Общедоступный доступ к этому запросу | Также проверьте изображения, ссылки и метаданные |
| 200 с навигацией | Защита подается вместо контента | Просмотр связанного события в CDN |
| 403 | Доступ запрещен в соответствии с правилом или авторизацией | Определите слой, который принял решение |
| 429 | Ограничение потока или другое правило частоты | Чтение заголовков и прикладная политика |
| Последовательные перенаправления | URL-адрес или конфигурация для просмотра | Изучить варианты конечного пункта назначения и домена |
Поскольку Windows с curl.exe, приведенные ниже команды позволяют вам сохранять заголовки и тело ответа, а затем определять конечный пункт назначения. Замените адрес общедоступной страницей, которую вам разрешено управлять. Домен иллюстративный; Эти строки не доказывают результатов на вашем хостинге. С другой системой, в частности, адаптируйте имя исполняемого файла и игнорируемого выходного файла.
curl.exe -sS -D headers.txt -o page.html https://example.com/guide/
curl.exe -sS -L -o NUL -w "%{http_code} %{url_effective}\n" https://example.com/guide/Сопоставить журналы
Заблокированный запрос выше по течению может никогда не попадать на исходный сервер. Проверьте события CDN и сервера в одном окне времени. Ищите правила защиты, ограничения потока и географические ограничения. Не копируйте конфиденциальные настройки публично. Цель состоит в том, чтобы изолировать правило, которое объясняет разрыв между ожидаемым ответом и наблюдаемой реакцией.
Подтвердить личность перед исключением
Имя робота в пользовательском агенте можно имитировать. Для Google используйте методы, опубликованные оператором: проверка DNS или официальные адресные диапазоны, в зависимости от вашего устройства. Для другого робота проверьте его документацию. Локальное моделирование пользовательского агента помогает тестировать ответ; Это не доказывает, что настоящий робот сталкивается с точно такой же обработкой.
Вымышленный пример: недоступное изображение
HTML-код руководства доступен, но его иллюстрация вызывает проблему, потому что путь изображения находится под слишком широкой защитой. Команда только корректирует политику соответствующих государственных ресурсов, а затем проверяет ответы и платежи. Тест охватывает регулярные посещения и проверенный доступ, не открывая области администрирования или чувствительных функций.
построить ограниченное исключение и проверить его эффект
Начните с правила тестирования соответствующего ресурса. Обратите внимание на поведение до и после, проверенную личность робота, если она актуальна, и продолжительность теста. Глобальное изменение брандмауэра заставит эту возможность сравнения исчезнуть. Также проверьте обычных посетителей: исключение не должно прерывать их маршрут или показывать другой ответ внизу.
- Соотношение событий с конкретным идентификатором запроса или временным окном. Если исходный сервер ничего не получил, начните с вышестоящего уровня.
- Различайте политику robots.txt, контроль доступа и защиту скорости. Эти механизмы отвечают на разные вопросы; Изменение одного не исправляет другие автоматически.
- Воспроизведите показания на странице, основное изображение и соседний URL. Также проверьте результат после истечения срока действия или аннулирования кэша в соответствии с вашим методом инфраструктуры.
- Сохраняйте процедуру возврата и последующего менеджера. Закрытие неисправности соответствует правильному воспроизведению, а не исчезновению изолированного предупреждения.
Официальная проверка запроса Google Помогает определить подлинный доступ. Для этого шага недостаточно моделирования заголовка. Чтобы избежать смешивания идентификации и доступа, продолжайте Контроль идентичности роботов в журналах.
Документируйте исправление
Сохраняйте начальное правило, изменение, ресурс и метод возврата. Затем следите за ошибками, а не понижайте все защиты. В инструментах поиска проверяйте репрезентативные страницы и дайте время на обработку. Этот элемент управления завершает Техническая подготовка сайта : Он не гарантирует индексацию или цитату. Также убедитесь, что изображения остаются доступными после истечения срока действия кэша.