L'agente utente è un'affermazione, non una prova di identità. Prima di concedere un'eccezione o interpretare un'attività come quella di un motore, controllare la query in base ai metodi dell'operatore. Conserva i risultati e prendi in considerazione gli intermediari di rete.
da una domanda specifica
Notare il tempo, il percorso richiesto, lo stato e l'indirizzo osservati al giusto livello dell'infrastruttura. Se un proxy o un CDN si trova di fronte al server, controlla come viene trasmesso l'indirizzo originale e quali origini sono affidabili. Un'intestazione fornita da qualsiasi client non dovrebbe essere sufficiente per identificare una macchina. Lavora su alcuni casi prima di generalizzare a tutti i log.
Applicare il metodo ufficiale
Google documenta la verifica in base ai suoi elenchi di indirizzi e al metodo DNS. Per un controllo DNS, è necessario controllare il nome ottenuto e quindi confermare che la sua risoluzione diretta corrisponde all'indirizzo iniziale, con il suffisso previsto per la categoria. Non convalidare un nome solo perché contiene la parola Google. Controlla le informazioni ufficiali durante l'implementazione.
Collega l'indirizzo osservato alla categoria del robot corretta
La documentazione di Google distingue diverse categorie di robot e strumenti di ripristino. Gli indirizzi e i modelli di nome non devono essere interpretati fuori da questa categoria. Prima di concludere che una query proviene da Googlebot, utilizza il metodo ufficiale e l'indirizzo ufficiali appropriati effettivamente osservati al confine affidabile della tua infrastruttura. Un indirizzo copiato da un'intestazione non verificata può essere scelto dal cliente che invia la richiesta.
| Passo | Controllo | Scorciatoia da evitare |
|---|---|---|
| Indirizzo iniziale | Identifica la fonte affidabile nei registri | Trust any header received |
| Risoluzione inversa | Ottieni il nome associato all'indirizzo | Accetta un nome contenente solo la parola Google |
| Nome e categoria | Controlla il dominio previsto secondo la documentazione | Strumento confuso attivato da un utente e un robot corrente |
| Risoluzione diretta | Trova l'indirizzo iniziale dal nome che hai | Fermati alla risoluzione inversa |
| Autorizzazione | Applicare il perimetro di accesso previsto | aprire un'area privata perché l'identità è riconosciuta |
Un suffisso dovrebbe essere controllato con un confine di dominio, non con una semplice ricerca di testo. Un nome come googlebot.com.example.net non appartiene al dominio googlebot.com. Tuttavia, confrontare il nome da solo non è sufficiente: mantenere il controllo diretto della risoluzione o utilizzare gli elenchi di indirizzi pubblicati secondo il metodo scelto.
Identità e autorizzazione separate
Un robot identificato dovrebbe accedere solo alle risorse destinate ad esso. Una pagina pubblica e un'interfaccia di amministrazione non hanno lo stesso ambito. Eccezioni del firewall del documento e loro scopo. L'identificazione aiuta ad analizzare il carico e gli errori; Non sostituisce una politica di accesso, un'appropriata limitazione e protezione delle funzioni sensibili.
Esempio fittizio: un aumento delle query
Un sito vede molti accessi portando il nome di un motore, con percorsi insoliti. Il team controlla un esempio e rileva che alcuni indirizzi non corrispondono ai metodi di convalida pubblicati. Quindi separa il traffico verificato e il traffico dichiarato per comprendere il carico. Non conclude che il motore ufficiale abbia lanciato questa attività sulla sola base di una formulazione.
eseguire un controllo a campione e tenere traccia
Da un prompt di Windows con lo strumento NSLookup, inizia con l'indirizzo di query che stai esaminando, quindi interroga il nome effettivamente ottenuto. Le due linee seguenti sono modelli da sostituire, non un risultato di controllo. Non pubblicare le tue riviste o impostazioni grezze che potrebbero contenere informazioni sensibili per illustrare un articolo.
nslookup ADRESSE_IP_OBSERVEE
nslookup NOM_RETOURNE_PAR_LA_PREMIERE_REQUETE- Notare la richiesta di inizio, la data e il livello di infrastruttura in cui è stato raccolto l'indirizzo. Se interviene un proxy, documenta la configurazione che rende affidabile questo indirizzo.
- confrontare la risoluzione del nome e dei risultati con Metodi ufficiali di Google. Se un passaggio non è disponibile o ambiguo, mantieni lo stato da controllare anziché confermare per impostazione predefinita.
- Per un grande volume, preparare una verifica automatizzata appropriata con un criterio di aggiornamento e gestione degli errori. Evita la dipendenza lenta o bloccante da ogni richiesta pubblica.
- Quindi analizzare l'accesso e caricare separatamente. Un'identità verificata non dimostra né l'indicizzazione riuscita né la qualità della risposta servita.
Il risultato utile è una classificazione tracciabile: identità verificata secondo tale metodo, identità non confermata o verifica incompleta. collegare queste informazioni a Diagnostica CDN e firewall Comprendere un rifiuto di accesso, senza confondere la dichiarazione del robot con la decisione della tua infrastruttura.
rendere il controllo manutenibile
Pianifica di aggiornare gli elenchi, gestire gli errori temporanei e registrare limitato agli elementi necessari. Evita di bloccare le ricerche DNS su ogni query pubblica; Scegli un'architettura adatta con il tuo team tecnico. Dopo la correzione, controlla gli errori e l'accesso utile. Completa con il Diagnosi dei blocchi CDN per distinguere un problema di identità da un problema di risposta.