# Robots.txt és nem kívánt botok

> A robots.txt fájl létrehozása és szerkesztése a Yoast SEO-ban, és nem kívánt botok (AdsBot, AI-botok) blokkolása.

## A robots.txt fájl

A `robots.txt` fájl megmondja a keresőknek, hová léphetnek be a webhelyeden.

### Alapértelmezett tartalom

A WordPress alapból ezt a tartalmú fájlt állítja elő:

```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
```

Ha a Yoast SEO-val hozod létre a fájlt, ezt a következő váltja fel:

```
# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK
```

Ez minden keresőnek engedi a webhely bejárását, és megadja az oldaltérkép címét is, így a keresők (különösen a Bing) könnyebben megtalálják és gyorsabban felmérik az oldalt.

Ha a `robots.txt` nem írható, vagy a WordPress telepítésen le van tiltva a fájlszerkesztés, a fentiek nem alkalmazhatók. Ilyenkor a fájlt szerverszinten kell szerkeszteni.

### Létrehozás és szerkesztés a Yoast SEO-ban

1. A vezérlőpulton nyisd meg a **Yoast SEO → Eszközök** oldalt.
2. Kattints a **Fájlszerkesztő** pontra. Ha a WordPress telepítésen le van tiltva a fájlszerkesztés, ez a menüpont nem jelenik meg; engedélyezd a szerkesztést, vagy szerkeszd a fájlt FTP-n keresztül.
3. Kattints a **robots.txt fájl létrehozása** gombra. Ha a fájl hiányzik, ez a gomb jelenik meg.
4. Nézd meg vagy szerkeszd a tartalmát, majd mentsd.

![A Fájlszerkesztő oldal a robots.txt létrehozásával és a .htaccess szerkesztésével](./kepek/beallitasok-fajlszerkeszto.webp)

*A Fájlszerkesztő oldal a robots.txt létrehozásával és a .htaccess szerkesztésével* (https://minta-bolt.hu/wp-admin/admin.php?page=wpseo_tools&tool=file-editor)

A képen a **robots.txt** szakasz a létrehozás gombbal, alatta a **.htaccess fájl** szerkesztője látható.

### Szerkesztés a szerveren

Ha a Yoast SEO-ban a létrehozás sikertelen, a fájlt a szerveren is létrehozhatod. A WordPress virtuális `robots.txt` fájlt ad, ha a gyökérmappában nincs fizikai fájl. Ennek felülírásához:

1. Egy szövegszerkesztővel hozz létre egy szövegfájlt.
2. Mentsd az üres fájlt `robots.txt` néven.
3. Töltsd fel a szerver gyökérmappájába. Ha nem tudod, hová, kérdezd a tárhelyszolgáltatót.

Ezután a fájl a Yoast SEO-ból is szerkeszthető. Ha nem, szerkeszd közvetlenül a szerveren, FTP-vel vagy a tárhely fájlkezelőjével.

## Nem kívánt botok blokkolása

Az internetes forgalom nem csak emberektől jön: botok (automatikus programok) is bejárják a webet. Van, amelyik hasznos, de vannak nem kívántak is.

### Érdemes blokkolni?

**Google AdsBot.** A hirdetések céloldalainak minőségét értékeli. Azért tilthatod le, hogy ne terhelje a szervert, ha nem futtatsz Google Ads-hirdetést, vagy biztonsági megfontolásból. Ha viszont hirdetsz, a blokkolás ronthatja a céloldalak minősítését és a kampányok teljesítményét.

**AI-botok.** Sok bot az AI-modellek (nagy nyelvi modellek) tanításához gyűjt adatot. A blokkolás védi az egyedi tartalmadat és az adatbiztonságot, és szervererőforrást is spórol, mert ezek a botok jelentős terhelést okozhatnak. A hátránya, hogy a webhelyed elrejtődhet egyes online keresések elől, és véletlenül jó botokat is kizárhatsz.

### A blokkolás beállítása

Az ingyenes Yoast SEO-ban csak a Google AdsBot blokkolható. A Premiumban a Google Gemini és Vertex AI botok, az OpenAI GPTBot és a Common Crawl CCBot is.

1. A vezérlőpulton nyisd meg a **Yoast SEO** menüt.
2. Lépj a **Beállítások** oldalra.
3. A **Haladó** alatt kattints a **Feltérképezés optimalizálás** pontra.
4. A **Nem kívánt botok blokkolása** részben kapcsold be vagy ki a kapcsolókat a kívánt botokhoz. Bekapcsolva lila pipa látszik, kikapcsolva szürke kereszt.
5. Kattints a **Változtatások mentése** gombra.

![A Feltérképezés optimalizálás oldal a Nem kívánt botok blokkolása szakasszal](./kepek/beallitasok-felterkepezes.webp)

*A Feltérképezés optimalizálás oldal a Nem kívánt botok blokkolása szakasszal* (https://minta-bolt.hu/wp-admin/admin.php?page=wpseo_page_settings)

A képen az oldal alsó harmadában látható a **Nem kívánt botok blokkolása** szakasz: a Premium botokhoz **Premium** jelvény tartozik. A kapcsolók bekapcsolásakor a Yoast SEO „disallow” szabályt ad a `robots.txt` fájlhoz.