De user-agent is een verklaring, geen bewijs van identiteit. Voordat u een uitzondering toekent of een activiteit zoals die van een engine interpreteert, moet u de query controleren volgens de methoden van de operator. Bewaar de resultaten en houd rekening met de netwerkintermediairs.
van een specifieke vraag
Let op de tijd, het gevraagde pad, de status en het adres dat op het juiste niveau van de infrastructuur wordt waargenomen. Als er een proxy of CDN voor de server staat, controleer dan hoe het oorspronkelijke adres wordt verzonden en welke bronnen betrouwbaar zijn. Een header die door een client wordt geleverd, mag niet voldoende zijn om een machine te identificeren. Werk aan een paar cases voordat u generaliseert naar alle logboeken.
Pas de officiële methode toe
Google documenteert de verificatie door zijn adreslijsten en de DNS-methode. Voor een DNS-controle moet u de verkregen naam controleren en vervolgens bevestigen dat de directe resolutie overeenkomt met het oorspronkelijke adres, waarbij het achtervoegsel wordt verwacht voor de categorie. Valideer een naam niet alleen omdat deze het woord Google bevat. Bekijk de officiële informatie tijdens de implementatie.
Koppel het waargenomen adres aan de juiste robotcategorie
De Google-documentatie onderscheidt verschillende categorieën robots en hersteltools. Adressen en naampatronen mogen niet uit deze categorie worden geïnterpreteerd. Voordat u concludeert dat een vraag van Googlebot komt, moet u de juiste officiële methode en adres gebruiken die daadwerkelijk worden waargenomen op de betrouwbare grens van uw infrastructuur. Een adres dat is gekopieerd van een niet-geverifieerde header kan worden gekozen door de klant die het verzoek verzendt.
| Stap | Controle | Snelkoppeling om te vermijden |
|---|---|---|
| Startadres | Identificeer betrouwbare bron in logboeken | vertrouw elke ontvangen header |
| Omgekeerde resolutie | Krijg de naam die aan het adres is gekoppeld | Accepteer een naam met alleen het woord Google |
| Naam en categorie | Controleer het verwachte domein volgens de documentatie | Verwarrende tool getriggerd door een huidige gebruiker en robot |
| Directe resolutie | Zoek het oorspronkelijke adres van de naam die je hebt gekregen | Stop bij omgekeerde resolutie |
| Machtiging | Pas de beoogde toegangsperimeter toe | Open een privégebied omdat identiteit wordt herkend |
Een achtervoegsel moet worden gecontroleerd met een domeingrens, niet door een eenvoudige tekstzoekopdracht. Een naam zoals googlebot.com.example.net behoort niet tot het domein van googlebot.com. Het is echter niet voldoende om de naam alleen te vergelijken: houd de directe resolutiecontrole bij of gebruik de gepubliceerde adreslijsten volgens de gekozen methode.
Afzonderlijke identiteit en autorisatie
Een geïdentificeerde robot mag alleen toegang krijgen tot de daarvoor bestemde middelen. Een openbare pagina en een beheerinterface hebben niet dezelfde reikwijdte. Documenteer firewall-uitzonderingen en hun doel. Identificatie helpt bij het analyseren van belasting en fouten; Het vervangt geen toegangsbeleid, passende beperking en bescherming van gevoelige functies.
Fictief voorbeeld: een toename van vragen
Een site ziet veel toegangen met een motornaam, met ongebruikelijke paden. Het team controleert een voorbeeld en constateert dat sommige adressen niet overeenkomen met gepubliceerde validatiemethoden. Het scheidt vervolgens geverifieerd verkeer en aangegeven verkeer om de belasting te begrijpen. Het concludeert niet dat de officiële engine deze activiteit alleen heeft gelanceerd op basis van een bewoording.
Voer een steekproef uit en houd bij
Begin vanuit een Windows-prompt met de nsLookup-tool, begin met het queryadres dat u aan het bekijken bent en vraag vervolgens de naam die daadwerkelijk is verkregen. De twee onderstaande lijnen zijn modellen om te vervangen, geen controleresultaat. Publiceer uw onbewerkte tijdschriften of instellingen die mogelijk gevoelige informatie bevatten niet om een artikel te illustreren.
nslookup ADRESSE_IP_OBSERVEE
nslookup NOM_RETOURNE_PAR_LA_PREMIERE_REQUETE- Noteer het startverzoek, de datum en het infrastructuurniveau waar het adres is verzameld. Als een proxy tussenbeide komt, documenteer dan de configuratie die dit adres betrouwbaar maakt.
- confronteer het oplossen van naam en resultaten met Officiële Google-methoden. Als een stap niet beschikbaar of dubbelzinnig is, moet u de status behouden om te controleren in plaats van standaard te bevestigen.
- Bereid voor een groot volume een passende geautomatiseerde verificatie voor met een update- en foutbeheerbeleid. Vermijd langzame of blokkerende afhankelijkheid van elk openbaar verzoek.
- Analyseer vervolgens de toegang en laad afzonderlijk. Een geverifieerde identiteit bewijst noch succesvolle indexering, noch de kwaliteit van de respons.
Het nuttige resultaat is een traceerbare classificatie: identiteit geverifieerd volgens een dergelijke methode, onbevestigde identiteit of onvolledige verificatie. koppel deze informatie aan CDN- en firewalldiagnose Om een weigering van toegang te begrijpen, zonder de verklaring van de robot te verwarren met de beslissing van uw infrastructuur.
controle onderhoudbaar maken
Plan om lijsten bij te werken, tijdelijke storingen te beheren en log beperkt tot de benodigde items. Vermijd het blokkeren van DNS-zoekopdrachten bij elke openbare zoekopdracht; Kies een geschikte architectuur met uw technisch team. Controleer na correctie fouten en nuttige toegang. compleet met de Diagnose van CDN-blokkades om een identiteitsprobleem te onderscheiden van een responsprobleem.