Der User-Agent ist eine Aussage, kein Identitätsnachweis. Bevor Sie eine Ausnahme gewähren oder eine Aktivität wie die einer Engine interpretieren, überprüfen Sie die Abfrage gemäß den Methoden des Bedieners. Behalten Sie die Ergebnisse und berücksichtigen Sie die Netzwerkintermediäre.
Aus einer bestimmten Abfrage
Beachten Sie die Zeit, den angeforderten Pfad, den Status und die Adresse auf der richtigen Ebene der Infrastruktur. Wenn sich ein Proxy oder CDN vor dem Server befindet, überprüfen Sie, wie die ursprüngliche Adresse übertragen wird und welche Quellen zuverlässig sind. Ein von einem Client bereitgestellter Header sollte nicht ausreichen, um eine Maschine zu identifizieren. Arbeiten Sie an einigen Fällen, bevor Sie auf alle Protokolle verallgemeinern.
Wenden Sie die offizielle Methode an
Google dokumentiert die Überprüfung anhand seiner Adresslisten und der DNS-Methode. Für eine DNS-Prüfung müssen Sie den erhaltenen Namen überprüfen und dann bestätigen, dass seine direkte Auflösung der Anfangsadresse entspricht, wobei das für die Kategorie erwartete Suffix ist. Bestätigen Sie einen Namen nicht nur, weil er das Wort Google enthält. Schauen Sie sich die offiziellen Informationen während der Implementierung an.
Verknüpfen Sie die beobachtete Adresse mit der richtigen Roboterkategorie
Die Google-Dokumentation unterscheidet mehrere Kategorien von Robotern und Wiederherstellungstools. Adressen und Namensmuster sind aus dieser Kategorie nicht zu interpretieren. Bevor Sie zu dem Schluss kommen, dass eine Abfrage von Googlebot stammt, verwenden Sie die entsprechende offizielle Methode und Adresse, die tatsächlich an der zuverlässigen Grenze Ihrer Infrastruktur beobachtet wird. Eine Adresse, die aus einem nicht verifizierten Header kopiert wurde, kann vom Client ausgewählt werden, der die Anfrage sendet.
| Schritt | Steuern | Abkürzung zu vermeiden |
|---|---|---|
| Startadresse | Identifizieren Sie zuverlässige Quelle in Protokollen | Vertrauen Sie jedem erhaltenen Header |
| Umgekehrte Auflösung | Holen Sie sich den Namen, der der Adresse zugeordnet ist | Akzeptiere einen Namen, der nur das Wort Google enthält |
| Name und Kategorie | Überprüfen Sie die erwartete Domain gemäß der Dokumentation | Verwirrendes Werkzeug, das von einem aktuellen Benutzer und Roboter ausgelöst wird |
| Direkte Auflösung | Finden Sie die erste Adresse aus dem Namen, den Sie erhalten haben | Stoppen Sie bei umgekehrter Auflösung |
| Genehmigung | Wenden Sie den beabsichtigten Zugriffsperimeter an | Öffnen Sie einen privaten Bereich, da die Identität erkannt wird |
Ein Suffix sollte mit einer Domänengrenze überprüft werden, nicht durch eine einfache Textsuche. Ein Name wie googlebot.com.example.net gehört nicht zur Domain googlebot.com. Der Vergleich des Namens allein reicht jedoch nicht aus: Bei der direkten Auflösungsprüfung oder die veröffentlichten Adresslisten gemäß der gewählten Methode verwenden.
Separate Identität und Autorisierung
Ein identifizierter Roboter sollte nur auf die dafür vorgesehenen Ressourcen zugreifen. Eine öffentliche Seite und eine Administrationsoberfläche haben nicht den gleichen Bereich. Dokumente Firewall-Ausnahmen und deren Zweck. Identifikation hilft Last und Fehler zu analysieren; Es ersetzt keine Zugriffsrichtlinie, angemessene Einschränkung und Schutz sensibler Funktionen.
Fiktives Beispiel: eine Zunahme von Abfragen
Auf einer Website sehen viele Zugriffe einen Motornamen mit ungewöhnlichen Pfaden. Das Team überprüft ein Beispiel und stellt fest, dass einige Adressen nicht mit den veröffentlichten Validierungsmethoden übereinstimmen. Es trennt dann den verifizierten und deklarierten Verkehr, um die Last zu verstehen. Es kommt nicht zu dem Schluss, dass der offizielle Motor diese Aktivität auf der Grundlage eines Wortlauts gestartet hat.
Führen Sie einen Spot-Check durch und behalten Sie den Überblick
Beginnen Sie in einer Windows-Eingabeaufforderung mit dem Nslookup-Tool mit der Abfrageadresse, die Sie überprüfen, und fragen Sie dann den tatsächlich erhaltenen Namen ab. Die beiden folgenden Zeilen sind Modelle, die ersetzt werden sollen, kein Kontrollergebnis. Veröffentlichen Sie Ihre RAW-Journals oder -Einstellungen, die möglicherweise vertrauliche Informationen enthalten, um einen Artikel zu veranschaulichen.
nslookup ADRESSE_IP_OBSERVEE
nslookup NOM_RETOURNE_PAR_LA_PREMIERE_REQUETE- Beachten Sie die Startanforderung, das Datum und die Infrastrukturebene, auf der die Adresse erfasst wurde. Wenn ein Proxy eingreift, dokumentieren Sie die Konfiguration, die diese Adresse zuverlässig macht.
- konfrontieren Sie die Lösung von Namen und Ergebnissen mit Offizielle Google-Methodenein Wenn ein Schritt nicht verfügbar oder mehrdeutig ist, belassen Sie den Status zu überprüfen, anstatt standardmäßig zu bestätigen.
- Bereiten Sie für ein großes Volumen eine angemessene automatische Überprüfung mit einer Update- und Fehlerverwaltungsrichtlinie vor. Vermeiden Sie eine langsame oder blockierende Abhängigkeit von jeder öffentlichen Anforderung.
- Analysieren Sie dann den Zugriff und laden Sie separat. Eine verifizierte Identität beweist weder eine erfolgreiche Indizierung noch die Qualität der gesendeten Antwort.
Das nützliche Ergebnis ist eine nachvollziehbare Klassifizierung: Identität nach einer solchen Methode, unbestätigte Identität oder unvollständige Überprüfung. Verknüpfen Sie diese Informationen mit CDN- und Firewall-Diagnose eine Verweigerung des Zugangs zu verstehen, ohne die Deklaration des Roboters mit der Entscheidung Ihrer Infrastruktur zu verwechseln.
Kontrolle aufrecht erhalten
Planen Sie, Listen zu aktualisieren, temporäre Fehler zu verwalten und auf die erforderlichen Elemente zu protokollieren. Vermeiden Sie es, DNS-Suchen bei jeder öffentlichen Abfrage zu blockieren. Wählen Sie mit Ihrem technischen Team eine passende Architektur. Überprüfen Sie nach der Korrektur Fehler und nützlichen Zugriff. Komplett mit dem Diagnose von CDN-Blockierungen ein Identitätsproblem von einem Antwortproblem zu unterscheiden.