robots.txt

A robots.txt egy szöveges fájl az oldal gyökerében, amellyel a keresőrobotoknak megmondod, mely részeket ne járják be, és hol találják a sitemapet. Fontos, hogy nem hozzáférés-védelem, és nem is indexelés-tiltás: az RFC 9309 szerint ezek a szabályok nem hozzáférés-engedélyezési eszközök. A Google dokumentációja szerint a bejárás tiltása nem akadályozza meg, hogy az oldal címe megjelenjen a találatok között (snippet nélkül); az indexelést a noindex tiltja.

Hogyan mérjük

A riport lekéri az oldal végső gazdagépének /robots.txt fájlját (legfeljebb két átirányítást követve).

• Megfelelő: a válasz kódja 200, és a User-agent: * csoportban nincs pontosan Disallow: / sor.
• Hiba, hiányzik: a válasz nem 200 (például 404).
• Hiba, szerverhiba: a fájl 5xx kóddal válaszol. Ez a hiányzó fájl egyik esete, a riport külön üzenetet ad rá.
• Hiba, mindent tilt: a User-agent: * csoportban Disallow: / szerepel.
• Nem mérhető: a másodlagos lekérések időkerete vagy kérésszáma elfogyott, mielőtt a fájlra sor került volna.

A teszt súlyossága a riportban: közepes. Mit nem néz a teszt:

• Csak a * csoportot értékeli. Egy külön, például Googlebot nevű csoport tiltását nem veszi észre.
• Csak a pontosan / tiltást tekinti hibának; részleges tiltásokat (Disallow: /blog/) nem.
• A hiányzó fájl hiba a riportban, bár a Google 4xx esetén úgy viselkedik, mintha nem lenne korlátozás (lásd lent).

Mit csinál a Google a különböző válaszkódokkal

A Google dokumentációja szerint:

• 2xx: a fájlt úgy dolgozza fel, ahogy a szerver adja;
• 4xx (a 429 kivételével): úgy veszi, mintha nem lenne robots.txt, vagyis nincs korlátozás;
• 5xx: az első 12 órában leáll a bejárással, de újra próbálkozik, utána akár 30 napig a tárolt példányt használja.

Az RFC 9309 szerint a 4xx “nem elérhető” állapot (a robot bármit elérhet), az 5xx pedig “elérhetetlen” (a robotnak teljes tiltást kell feltételeznie). Ezért érdemes a szerverhibát sürgősen javítani: a fájlnak 200-zal vagy 404-gyel kell jönnie.

Hogyan javítsd

A fájl hiányzik

Készíts robots.txt fájlt az oldal gyökerébe. A Google szerint a fájl neve robots.txt, UTF-8 kódolású szöveg, és a webhely legfelső szintjén kell lennie (alkönyvtárban nem keresik). A riport mintája minden robotnak megenged mindent, és megadja a sitemap címét (ha találtunk ilyet):

robots.txt

User-agent: *
Disallow:

Sitemap: https://pelda.hu/sitemap.xml

A Sitemap sorban teljes cím legyen, protokollal és gazdagépnévvel. Az üres Disallow: sorral a Google dokumentációja nem foglalkozik; a lényeg, hogy semmit nem tilt le. Ha biztosra mennél, a Disallow sort el is hagyhatod, és csak a User-agent és a Sitemap sort tartod meg.

A fájl mindent tilt

Töröld a Disallow: / sort a User-agent: * csoportból (vagy cserélj tiltást csak a tényleg kihagyandó útvonalakra). WordPressben a Beállítások → Olvasás oldalon a “Keresőmotorok kizárása” jelölőnégyzetet is nézd meg: a WordPress dokumentációja szerint az 5.3-as verziótól ez noindex robots meta sort ír ki, a régebbi verziók Disallow: / sort adtak a robots.txt-be. Részletek az Indexelhető oldalon.

Szerverhiba (5xx)

A hibát a szerver oldalán kell megkeresni: a webszerver és az alkalmazás hibanaplójában látszik, miért nem tudja kiszolgálni a /robots.txt kérést. A cél, hogy a fájl 200-zal jöjjön.

Hogyan ellenőrizd

1. Futtasd újra a riportot.
2. Parancssorból a státuszkód és a tartalom:

Terminál

curl -sI https://pelda.hu/robots.txt | head -n 1
curl -s https://pelda.hu/robots.txt

3. A Search Console jelzi, ha a robots.txt bejárása hibás, és a Sitemaps jelentésben is látszik, ha a robots.txt blokkolja a sitemapet (hogyan használd).