Robots.txt és nem kívánt botok

A robots.txt fájl

A robots.txt fájl megmondja a keresőknek, hová léphetnek be a webhelyeden.

Alapértelmezett tartalom

A WordPress alapból ezt a tartalmú fájlt állítja elő:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ha a Yoast SEO-val hozod létre a fájlt, ezt a következő váltja fel:

# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK

Ez minden keresőnek engedi a webhely bejárását, és megadja az oldaltérkép címét is, így a keresők (különösen a Bing) könnyebben megtalálják és gyorsabban felmérik az oldalt.

Ha a robots.txt nem írható, vagy a WordPress telepítésen le van tiltva a fájlszerkesztés, a fentiek nem alkalmazhatók. Ilyenkor a fájlt szerverszinten kell szerkeszteni.

Létrehozás és szerkesztés a Yoast SEO-ban

1. A vezérlőpulton nyisd meg a Yoast SEO → Eszközök oldalt.
2. Kattints a Fájlszerkesztő pontra. Ha a WordPress telepítésen le van tiltva a fájlszerkesztés, ez a menüpont nem jelenik meg; engedélyezd a szerkesztést, vagy szerkeszd a fájlt FTP-n keresztül.
3. Kattints a robots.txt fájl létrehozása gombra. Ha a fájl hiányzik, ez a gomb jelenik meg.
4. Nézd meg vagy szerkeszd a tartalmát, majd mentsd.

https://minta-bolt.hu/wp-admin/admin.php?page=wpseo_tools&tool=file-editor

A képen a robots.txt szakasz a létrehozás gombbal, alatta a .htaccess fájl szerkesztője látható.

Szerkesztés a szerveren

Ha a Yoast SEO-ban a létrehozás sikertelen, a fájlt a szerveren is létrehozhatod. A WordPress virtuális robots.txt fájlt ad, ha a gyökérmappában nincs fizikai fájl. Ennek felülírásához:

1. Egy szövegszerkesztővel hozz létre egy szövegfájlt.
2. Mentsd az üres fájlt robots.txt néven.
3. Töltsd fel a szerver gyökérmappájába. Ha nem tudod, hová, kérdezd a tárhelyszolgáltatót.

Ezután a fájl a Yoast SEO-ból is szerkeszthető. Ha nem, szerkeszd közvetlenül a szerveren, FTP-vel vagy a tárhely fájlkezelőjével.

Nem kívánt botok blokkolása

Az internetes forgalom nem csak emberektől jön: botok (automatikus programok) is bejárják a webet. Van, amelyik hasznos, de vannak nem kívántak is.

Érdemes blokkolni?

Google AdsBot. A hirdetések céloldalainak minőségét értékeli. Azért tilthatod le, hogy ne terhelje a szervert, ha nem futtatsz Google Ads-hirdetést, vagy biztonsági megfontolásból. Ha viszont hirdetsz, a blokkolás ronthatja a céloldalak minősítését és a kampányok teljesítményét.

AI-botok. Sok bot az AI-modellek (nagy nyelvi modellek) tanításához gyűjt adatot. A blokkolás védi az egyedi tartalmadat és az adatbiztonságot, és szervererőforrást is spórol, mert ezek a botok jelentős terhelést okozhatnak. A hátránya, hogy a webhelyed elrejtődhet egyes online keresések elől, és véletlenül jó botokat is kizárhatsz.

A blokkolás beállítása

Az ingyenes Yoast SEO-ban csak a Google AdsBot blokkolható. A Premiumban a Google Gemini és Vertex AI botok, az OpenAI GPTBot és a Common Crawl CCBot is.

1. A vezérlőpulton nyisd meg a Yoast SEO menüt.
2. Lépj a Beállítások oldalra.
3. A Haladó alatt kattints a Feltérképezés optimalizálás pontra.
4. A Nem kívánt botok blokkolása részben kapcsold be vagy ki a kapcsolókat a kívánt botokhoz. Bekapcsolva lila pipa látszik, kikapcsolva szürke kereszt.
5. Kattints a Változtatások mentése gombra.

https://minta-bolt.hu/wp-admin/admin.php?page=wpseo_page_settings

A képen az oldal alsó harmadában látható a Nem kívánt botok blokkolása szakasz: a Premium botokhoz Premium jelvény tartozik. A kapcsolók bekapcsolásakor a Yoast SEO „disallow” szabályt ad a robots.txt fájlhoz.