„Indexed, though blocked by robots.txt” figyelmeztetés

Ha a Google Search Console-ban az Indexed, though blocked by robots.txt figyelmeztetést látod, az azt jelenti, hogy a Google indexelt egy URL-t, bár a robots.txt fájlod tiltotta a bejárását. A Google azért jelzi, mert nem tudja, hogy valóban szeretnéd-e, hogy az az oldal indexelve legyen.

A javítás lépései

Előbb el kell döntened, hogy az érintett URL-eket indexelni szeretnéd-e, utána a robots.txt fájlt ennek megfelelően kell szerkesztened.

1. A Google Search Console-ban exportáld az Indexed, though blocked by robots.txt állapotú URL-ek listáját.
2. Döntsd el, mely URL-eknek kell indexeltnek lenniük.
3. A vezérlőpulton nyisd meg a Yoast SEO menüt.
4. Kattints az Eszközök pontra.
5. Az Eszközök oldalon válaszd a Fájlszerkesztő lehetőséget.
6. Szerkeszd a robots.txt fájlt: a letiltó sorokat módosítsd vagy töröld az indexelendő URL-eknél. A szerkesztés menetét a Robots.txt és nem kívánt botok fejezet írja le.
7. A módosítások mentéséhez kattints a robots.txt mentésére szolgáló gombra.
8. Térj vissza a Google Search Console Index Coverage jelentéséhez, és kattints a Validate fix gombra. Ezzel kéred a Google-t, hogy a robots.txt alapján újraértékelje az URL-eket.

https://minta-bolt.hu/wp-admin/admin.php?page=wpseo_tools

A képen az Eszközök oldal látszik, ahonnan a Fájlszerkesztő elérhető.

„Submitted URL blocked by robots.txt” hiba

Ez a Google Search Console hiba azt jelenti, hogy az oldal nincs indexelve: a Google megpróbálta indexelni, de nem tudta. Az oldal be lett küldve indexelésre, vagyis szerepel az oldaltérképben, a robots.txt fájl viszont tiltja a bejárását.

A javítás három módja

• Ha azt szeretnéd, hogy a Google bejárja és indexelje az oldalt, akkor a robots.txt-ben javítsd azt a szabályt, ami ezt megakadályozza (lásd lent).
• Ha nem szeretnéd indexeltetni az oldalt, vedd ki az URL-t az oldaltérképből. A Google a következő látogatáskor észreveszi. Ha nem akarsz várni, a Google Search Console Oldaltérképek jelentésében újra beküldheted a módosított oldaltérképet.
• Ha nem akarod indexeltetni, azt is megteheted, hogy az Oldaltérképek jelentésben törlöd azokat az oldaltérképeket, amelyek az oldal URL-jét tartalmazzák. Ellenőrizd azt is, hogy a robots.txt fájlban felsorolt oldaltérképek közül egyik sem tartalmazza az URL-t.

A robots.txt tesztelése és javítása

1. Teszteld a fájlt. A Google Search Console robots.txt-tesztelő eszközével kipróbálhatod, bejárható-e az URL. Az eszköz kiemeli azt a szabályt, ami a tiltást okozza. Csak tesztelésre jó, a fájlt nem módosítja.
2. Javítsd a fájlt. Ha tudod, mi okozza a gondot, a szabályt töröld vagy módosítsd. A robots.txt általában a webhely gyökerében van (https://pelda.hu/robots.txt), de a domain bármelyik pontján lehet. A tesztelő eszköz See live robots.txt (élő robots.txt megtekintése) gombja segít megtalálni. A Yoast SEO fájlszerkesztőjével (Yoast SEO → Eszközök → Fájlszerkesztő) is szerkesztheted. Ha tárhelyszolgáltatónál vagy, előfordulhat, hogy nem fér hozzá a fájlhoz: ilyenkor kérj segítséget a szolgáltatótól.
3. Küldd be a javított fájlt a Google-nek a Google Search Console-ban.