Salliva robots.txt ei riitä, jos CDN tai palomuuri palauttaa haasteen, virheen tai tyhjän sivun roboteille. Vertaa tosiasiallisesti saatua vastausta odotettuun ja korjaa sitten tarkka sääntö, joka estää pääsyn julkisiin resursseihin.
Tarkkaile edustavaa URL-osoitetta
Valitse tärkeä sivu, sen kuva ja robots.txt-tiedosto. Huomautus HTTP-tila, uudelleenohjaukset, sisältötyyppi ja runko palautettu. 200:n tila voi piilottaa vahvistussivun kohteen sijaan. Tallenna infrastruktuurin antama päivämäärä ja kyselytunniste, jos se on saatavilla. Hallintoon kytketty selain ei ole riittävä yleisön pääsytesti.
Lue koko vastaus, ei vain sen tila
Diagnoosin tulee erottaa pyyntö, vastaus ja sen sisältö. HTTP-menestys ei todista, että artikkelia toimitettiin. Päinvastoin, kerran löydetty virhe ei riitä kuvaamaan pysyvää tukosta. Vertaa samoja URL-osoitteita dokumentoituihin aikoihin ja etsi sitten asiaankuuluvat kyselyt infrastruktuurilokeista.
| havaittu vaste | hypoteesi tarkistettavaksi | Seuraava tarkastus |
|---|---|---|
| 200 odotetulla tekstillä | Julkinen pääsy tähän pyyntöön | Tarkista myös kuvat, linkit ja metatiedot |
| 200 navigointihaasteella | Suojaus tarjoillaan sisällön sijaan | Katso siihen liittyvä tapahtuma CDN:ssä |
| 403 | pääsy evätty säännön tai valtuutuksen mukaan | Tunnista kerroksen, joka teki päätöksen |
| 429 | Virtausrajoitus tai muu taajuussääntö | Lue otsikot ja sovellettu käytäntö |
| Peräkkäiset uudelleenohjaukset | URL-reitti tai kokoonpano tarkistettavaksi | tutkia lopullisen määränpään ja verkkotunnuksen muunnelmia |
Koska Windowsissa on curl.exe, alla olevien komentojen avulla voit säilyttää otsikot ja vastauksen rungon ja tunnistaa sitten lopullisen määränpään. Korvaa osoite julkisella sivulla, jota voit hallita. Toimialue on havainnollistava; Nämä rivit eivät osoita tuloksia isännöinnissäsi. Mukauta erityisesti suoritettavan tiedoston nimeä ja ohitetun tulostiedoston nimeä.
curl.exe -sS -D headers.txt -o page.html https://example.com/guide/
curl.exe -sS -L -o NUL -w "%{http_code} %{url_effective}\n" https://example.com/guide/Vertaa lokeja
Ylävirran estetty pyyntö ei välttämättä koskaan saavuta alkuperäistä palvelinta. Tarkista CDN- ja palvelintapahtumat samassa aikaikkunassa. Etsi suojaussääntöjä, virtausrajoituksia ja maantieteellisiä rajoituksia. Älä kopioi arkaluonteisia asetuksia julkisesti. Tavoitteena on eristää sääntö, joka selittää kuilun odotetun vasteen ja havaitun vasteen välillä.
Vahvista henkilöllisyys ennen poikkeusta
Robotin nimi käyttäjäagentissa voidaan jäljitellä. Käytä Googlessa operaattorin julkaisemia menetelmiä: DNS-vahvistus tai viralliset osoitealueet laitteestasi riippuen. Jos haluat toisen robotin, katso sen dokumentaatio. Käyttäjä-agentin paikallinen simulaatio auttaa testaamaan vastetta; Se ei todista, että todellinen robotti kohtaa täsmälleen saman kohtelun.
kuvitteellinen esimerkki: saavuttamaton kuva
Oppaan HTML on käytettävissä, mutta sen kuvitus saa haasteen, koska kuvapolku on asetettu liian laajan suojan alle. Tiimi vain korjaa kyseisten julkisten resurssien politiikan ja tarkistaa sitten vastaukset ja maksut. Testi kattaa säännölliset käynnit ja tarkistettujen pääsyn avaamatta hallintoalueita tai arkaluonteisia toimintoja.
rakentaa rajoitettu poikkeus ja tarkistaa sen vaikutus
Aloita testisäännöllä kyseisestä julkisesta resurssista. Huomaa käyttäytyminen ennen ja jälkeen, robotin varmennettu henkilöllisyys, jos se on relevantti, ja testin kesto. Globaali muutos palomuurissa poistaisi tämän vertailukyvyn. Tarkista myös tavalliset vierailijat: poikkeus ei saa rikkoa heidän reittiään tai näyttää eri vastausta alareunassa.
- korreloi tapahtumia tietyn kyselyn tunnisteen tai aikaikkunan kanssa. Jos alkuperäinen palvelin ei ole saanut mitään, aloita ylävirran kerroksesta.
- Erota robots.txt-käytäntö, kulunvalvonta ja nopeussuojaus. Nämä mekanismit vastaavat eri kysymyksiin; Yhden muokkaaminen ei automaattisesti korjaa muita.
- Toista sivun lukemat, pääkuva ja viereinen URL-osoite. Tarkista tulos myös välimuistin vanhenemisen tai mitätöimisen jälkeen infrastruktuurimenetelmäsi mukaisesti.
- Jatka perääntymismenettelyä ja seurantahallintaa. Vian sulkeminen vastaa oikeaa toistettua vastausta, ei yksittäisen varoituksen katoamista.
Virallinen Google-kyselyn vahvistus Auttaa tunnistamaan aidon pääsyn. Otsikkosimulaatio ei riitä tähän vaiheeseen. Vältä identiteetin ja pääsyn sekoittaminen jatkamalla robottien identiteetin hallinta lokeissa.
Dokumentoi korjaus
Säilytä alkuperäinen sääntö, muutos, resurssi ja takaisinraitamenetelmä. Varo sitten virheitä sen sijaan, että alennat kaikkia suojauksia. Tarkista hakutyökaluissa edustajasivut ja varaa aikaa käsittelyyn. Tämä ohjaus täydentää Sivuston tekninen valmistelu : Se ei takaa indeksointia tai lainausta. Tarkista myös, että kuvat ovat saatavilla välimuistin vanhenemisen jälkeen.