Un robots.txt permissivo non è sufficiente se il CDN o il firewall restituisce ai robot una sfida, un errore o una pagina vuota. Confronta la risposta effettivamente ricevuta con quella prevista, quindi correggi la regola precisa che blocca l'accesso alle risorse pubbliche.
Osserva un URL rappresentativo
Scegli una pagina importante, la sua immagine e il file robots.txt. Nota lo stato HTTP, i reindirizzamenti, il tipo di contenuto e il corpo restituito. Uno stato di 200 può nascondere una pagina di verifica anziché l'elemento. Registrare la data e l'identificatore della query fornito dall'infrastruttura, se disponibile. Un browser collegato all'amministrazione non è un test sufficiente di accesso pubblico.
Leggi la risposta completa, non solo il suo stato
La diagnosi dovrebbe distinguere la richiesta, la risposta e il suo contenuto. Un successo HTTP non dimostra che l'articolo è stato pubblicato. Al contrario, un errore rilevato una volta non è sufficiente per caratterizzare un blocco permanente. Confronta gli stessi URL con gli orari documentati, quindi cerca le query pertinenti nei registri dell'infrastruttura.
| Risposta osservata | Ipotesi da verificare | prossimo controllo |
|---|---|---|
| 200 con il testo atteso | Accesso pubblico disponibile per questa richiesta | Controlla anche immagini, link e metadati |
| 200 con una sfida di navigazione | protezione servita al posto del contenuto | Visualizza l'evento associato nella CDN |
| 403 | Accesso negato secondo una regola o un'autorizzazione | Identifica il livello che ha preso la decisione |
| 429 | limitazione del flusso o altra regola di frequenza | Leggi intestazioni e policy applicate |
| reindirizzamenti successivi | Route o configurazione dell'URL da rivedere | Esamina la destinazione finale e le varianti di dominio |
Poiché Windows con curl.exe, i comandi seguenti consentono di mantenere le intestazioni e il corpo della risposta, quindi identificare la destinazione finale. Sostituisci l'indirizzo con una pagina pubblica che puoi controllare. Il dominio è illustrativo; Queste righe non dimostrano risultati sul tuo hosting. Con un altro sistema, in particolare, adattare il nome dell'eseguibile e il file di output ignorato.
curl.exe -sS -D headers.txt -o page.html https://example.com/guide/
curl.exe -sS -L -o NUL -w "%{http_code} %{url_effective}\n" https://example.com/guide/Confrontare i log
Una richiesta bloccata a monte potrebbe non raggiungere mai il server originale. Controllare la CDN e gli eventi del server nella stessa finestra temporale. Cerca regole di protezione, limiti di flusso e restrizioni geografiche. Non copiare pubblicamente le impostazioni sensibili. L'obiettivo è isolare una regola che spieghi il divario tra la risposta attesa e la risposta osservata.
Verificare l'identità prima di un'eccezione
È possibile imitare un nome robot nell'agente utente. Per Google, utilizza i metodi pubblicati dall'operatore: verifica DNS o intervalli di indirizzi ufficiali, a seconda del tuo dispositivo. Per un altro robot, controlla la sua documentazione. Una simulazione locale dell'agente utente aiuta a testare una risposta; Non prova che il vero robot incontra esattamente lo stesso trattamento.
Esempio fittizio: un'immagine inaccessibile
L'HTML di una guida è accessibile, ma la sua illustrazione riceve una sfida perché un percorso dell'immagine è stato posizionato sotto una protezione troppo ampia. Il team corregge solo la politica delle risorse pubbliche interessate, quindi controlla le risposte e gli addebiti. Il test copre le visite regolari e l'accesso verificato, senza aprire aree di amministrazione o funzioni sensibili.
costruire un'eccezione limitata e verificarne l'effetto
Inizia con una regola di test sulla risorsa pubblica interessata. Notare il comportamento prima e dopo, l'identità verificata del robot se è rilevante e la durata del test. Un cambiamento globale nel firewall farebbe scomparire questa capacità di confronto. Controlla anche i visitatori ordinari: un'eccezione non dovrebbe interrompere il loro percorso o mostrare una risposta diversa in basso.
- correlare gli eventi con un identificatore di query specifico o una finestra temporale. Se il server originale non ha ricevuto nulla, inizia con il livello a monte.
- Distinguere tra la politica robots.txt, il controllo degli accessi e la protezione della velocità. Questi meccanismi rispondono a diverse domande; Modificarne uno non ne corregge automaticamente gli altri.
- Riproduci le letture sulla pagina, l'immagine principale e un URL adiacente. Controlla anche il risultato dopo la scadenza o l'invalidazione della cache in base al metodo dell'infrastruttura.
- Mantieni la procedura di backtracking e il gestore di follow-up. La chiusura del guasto corrisponde a una risposta corretta riprodotta, non alla scomparsa di un avviso isolato.
Le Verifica ufficiale della query di Google Aiuta a identificare l'accesso autentico. Una simulazione di intestazione non è sufficiente per questo passaggio. Per evitare di mescolare identità e accesso, continuare con il Controllo dell'identità dei robot nei registri.
Documenta la correzione
Mantieni la regola iniziale, la modifica, le risorse e il metodo di backtrack. Quindi fai attenzione agli errori piuttosto che abbassare tutte le protezioni. Negli strumenti di ricerca, ispeziona le pagine dei rappresentanti e concedi tempo per l'elaborazione. Questo controllo completa il Preparazione tecnica del sito : non garantisce l'indicizzazione o una citazione. Verificare inoltre che le immagini rimangano disponibili dopo la scadenza della cache.