Een permissieve robots.txt is niet genoeg als de CDN of firewall een uitdaging, fout of lege pagina teruggeeft aan de robots. Vergelijk de respons die daadwerkelijk is ontvangen met degene die wordt verwacht en corrigeer vervolgens de precieze regel die de toegang tot openbare bronnen blokkeert.
Observeer een representatieve URL
Kies een belangrijke pagina, de afbeelding en het bestand Robots.txt. Opmerking HTTP-status, omleidingen, inhoudstype en hoofdtekst geretourneerd. Een 200-status kan een verificatiepagina verbergen in plaats van het item. Noteer de datum- en query-ID die door de infrastructuur wordt geleverd, indien beschikbaar. Een browser die is verbonden met de administratie is geen voldoende test voor openbare toegang.
Lees het volledige antwoord, niet alleen de status
Diagnose moet het verzoek, de reactie en de inhoud ervan onderscheiden. Een HTTP-succes bewijst niet dat het artikel werd bediend. Omgekeerd is een eenmaal gevonden fout niet voldoende om een permanente blokkade te karakteriseren. Vergelijk dezelfde URL's met gedocumenteerde tijden en zoek vervolgens naar de relevante query's in de infrastructuurlogboeken.
| waargenomen reactie | hypothese om te verifiëren | Volgende controle |
|---|---|---|
| 200 met de verwachte tekst | openbare toegang beschikbaar voor dit verzoek | Controleer ook afbeeldingen, links en metadata |
| 200 met een navigatie-uitdaging | Bescherming geserveerd in plaats van inhoud | Bekijk de bijbehorende gebeurtenis in de CDN |
| 403 | Toegang geweigerd volgens een regel of autorisatie | Identificeer de laag die de beslissing heeft genomen |
| 429 | Stroombeperking of andere frequentieregel | Lees kopteksten en toegepast beleid |
| Opeenvolgende omleidingen | URL-route of configuratie om te beoordelen | Onderzoek de eindbestemming en domeinvarianten |
Aangezien Windows met Curl.exe, kunt u met de onderstaande opdrachten de kopteksten en de hoofdtekst van het antwoord behouden en vervolgens de eindbestemming identificeren. Vervang het adres door een openbare pagina die u mag beheren. Het domein is illustratief; Deze lijnen bewijzen geen resultaten op uw hosting. Met een ander systeem, in het bijzonder, past u de naam van het uitvoerbare bestand en het genegeerde uitvoerbestand aan.
curl.exe -sS -D headers.txt -o page.html https://example.com/guide/
curl.exe -sS -L -o NUL -w "%{http_code} %{url_effective}\n" https://example.com/guide/Logboeken vergelijken
Een upstream geblokkeerd verzoek zal mogelijk nooit de originele server bereiken. Controleer de CDN- en servergebeurtenissen in hetzelfde tijdvenster. Zoek naar beschermingsregels, stroomlimieten en geografische beperkingen. Kopieer gevoelige instellingen niet openbaar. Het doel is om een regel te isoleren die de kloof tussen de verwachte respons en de waargenomen respons verklaart.
Verifieer identiteit voor een uitzondering
Een robotnaam in de user-agent kan worden nagebootst. Gebruik voor Google de door de operator gepubliceerde methoden: DNS-verificatie of officiële adresbereiken, afhankelijk van uw apparaat. Bekijk voor een andere robot de documentatie. Een lokale simulatie van de user-agent helpt bij het testen van een reactie; Het bewijst niet dat de echte robot precies dezelfde behandeling ondervindt.
Fictief voorbeeld: een ontoegankelijk beeld
De HTML van een gids is toegankelijk, maar de illustratie ervan krijgt een uitdaging omdat een afbeeldingspad onder een te brede bescherming is geplaatst. Het team corrigeert alleen het beleid van de betrokken openbare middelen en controleert vervolgens reacties en kosten. De test omvat regelmatige bezoeken en geverifieerde toegang, zonder administratiegebieden of gevoelige functies te openen.
Construeer een beperkte uitzondering en controleer het effect ervan
Begin met een testregel over de betrokken openbare middelen. Let op het gedrag voor en na, de geverifieerde identiteit van de robot als deze relevant is en de duur van de test. Een globale verandering in de firewall zou deze vergelijkingscapaciteit doen verdwijnen. Controleer ook gewone bezoekers: een uitzondering mag hun route niet breken of een ander antwoord op de bodem laten zien.
- Correleer gebeurtenissen met een specifiek query-ID of tijdvenster. Als de originele server niets heeft ontvangen, begin dan met de upstream-laag.
- Maak onderscheid tussen het robots.txt-beleid, toegangscontrole en snelheidsbeveiliging. Deze mechanismen beantwoorden verschillende vragen; Het wijzigen van de ene corrigeert anderen niet automatisch.
- Speel de metingen op de pagina, de hoofdafbeelding en een naburige URL opnieuw af. Controleer ook het resultaat na het verlopen of ongeldig maken van de cache volgens uw infrastructuurmethode.
- Houd de backtracking procedure en de follow-up manager. Foutsluiting komt overeen met een correct gereproduceerd antwoord, niet met het verdwijnen van een geïsoleerde waarschuwing.
De Officiële Google-queryverificatie Helpt bij het identificeren van authentieke toegang. Een headersimulatie is niet genoeg voor deze stap. Ga verder met de Controle van de identiteit van robots in logs.
Documenteer de correctie
Houd de initiële regel, wijziging, resource en backtrack-methode aan. Let dan op fouten in plaats van alle beveiligingen te verlagen. In de zoekfuncties, inspecteer representatieve pagina's en geef tijd voor verwerking. Deze besturing maakt de Technische voorbereiding van de site : Het garandeert geen indexering of een citaat. Controleer ook of de afbeeldingen beschikbaar blijven nadat de cache is verlopen.