PTC és DeepL: a fordítási minőség mért összehasonlítása

Ez a fejezet a WPML nyelvészcsapatának mérését foglalja össze: hogyan teljesít a PTC a DeepL-hez képest, amelyet sokan a legerősebb általános AI-fordítónak tartanak. A számok a gyártó saját vizsgálatából származnak.

Egy pillantásra

Mutató	DeepL	PTC
Átlagos fordítási minőség (0-100)	77,7	90,0
Átlagos hibák száma fordított oldalanként	1,27	0,07
Minőségi szempontok, ahol a PTC jobb		9 a 9-ből
Tesztelt nyelvek, ahol a PTC jobb		6 a 6-ból (arab, angol, francia, német, olasz, spanyol)

A PTC 12,3 ponttal ér el többet, és kb. 18-szor kevesebb hibát vétett oldalanként.

Hogyan mértek?

A pontozás az MQM (Multidimensional Quality Metrics) keretrendszerre épül. Minden oldalt kilenc szempont szerint értékelt egy anyanyelvi nyelvész, szempontonként 1 és 10 között:

• nyelvtan,
• jelentés (megmaradt-e a forrás jelentése),
• természetesség,
• hangnem,
• formalitás (megszólítás és nyelvtani formák),
• terminológia,
• következetesség (a terminológia az oldalon belül),
• nagy- és kisbetűk használata,
• számok, mértékegységek és dátumok honosítása.

Az oldal pontszáma a kilenc átlaga tízzel szorozva, így 1-100 skálát ad:

Pontszám	Jelentése
90-100	Nagyon jó vagy tökéletes, átnézés nélkül közzétehető
80-89	Jó, a legtöbb környezetben közzétehető
70-79	Elfogadható vagy közepes, használható, de a hibák látszanak
60-69	Közepes, közzététel előtt finomítani kell
50-59	A hibákat nem anyanyelvi olvasó is észreveszi
50 alatt	Átdolgozást igénylő hibák

Összehasonlításul: az emberi fordítás általános átlaga kb. 76. A DeepL 77,7-tel ennél kicsivel jobb, a PTC 90,0-val a „nagyon jó, átnézés nélkül közzétehető” sáv határán van.

A mintát 800 véletlenszerűen kiválasztott, az elmúlt 12 hónapban DeepL-lel fordított oldalból vették (kor, tartalommennyiség és fordítási aktivitás szerint rétegezve). A nyelvészek 227 weboldalt néztek át arabul, angolul, franciául, németül, olaszul és spanyolul. A PTC pontszáma 73 éles oldal átnézéséből származik, ugyanazzal a módszerrel. A PTC minta azért kisebb, mert minden mérés egy adott PTC-verziót tükröz, a motor pedig folyamatosan fejlődik.

Nyelvenként

A PTC minden vizsgált nyelvpárban jobb. A legnagyobb a különbség az arabban (+22,4 pont), ezután a németben (+11,5) és a franciában (+9,9). A legkisebb az angolban (+6,0), de ott is az „elfogadható, látható hibákkal” sávból a közzétehető sávba emeli az oldalt. A DeepL arab eredményei között hosszú alsó farok van, olyan oldalakkal, amelyeket egy német vagy francia olvasó hibásnak tartana, a PTC eredményei szorosabban, magasabban csoportosulnak.

A kilenc szempont mindegyikén a PTC nyer. A legnagyobb javulás a terminológiában (+1,5), a nyelvtanban (+1,4), a természetességben (+1,4) és a számok, mértékegységek, dátumok honosításában (+1,4).

Hibaarány

A nyelvészek minden oldalon minden hibát külön naplóztak. A DeepL oldalanként átlag 1,27, a PTC 0,07 hibát ejtett. Egy 200 oldalas oldalon ez kb. 254 hiba a DeepL-nél, amit közzététel előtt meg kell találni és javítani, szemben a PTC kb. 14 hibájával az egész oldalon.

Ezért a DeepL jó első tervezet, amelynél az átnézés javasolt, a PTC pedig a legtöbb tartalomnál átnézés nélkül közzétehető. Egy „9/10” oldal az, amelyen egy gondosan olvasó anyanyelvi olvasó semmit nem változtatna, egy „7/10” elfogadható, de látható a tökéletlenség, egy „5/10” oldalon a hibát nem anyanyelvi is észreveszi.

Munkafolyamat és költség

A hagyományos folyamat: fordítás, átnézés, közzététel. Az átnézés viszi el a költség és az idő nagy részét. A PTC-nél az átnézés a legtöbb tartalomra nem kötelező, az alapfolyamat fordítás, közzététel, az átnézés a nagy téttel bíró vagy szabályozott területű oldalaknak marad.

A gyártó becslései szerint:

Munkafolyamat	Fordítás	Átnézés	Összesen szavanként	Megtakarítás az emberi fordításhoz képest
Teljes emberi fordítás	0,10-0,20 €	benne van	0,10-0,20 €	nincs
DeepL és emberi átnézés	kb. 0 €	0,04-0,08 €	0,04-0,08 €	kb. 60%
PTC, átnézés nélkül	0,0004-0,003 €	0 €	0,0004-0,003 €	kb. 99%

Ha az átnézést te végzed, az sem ingyenes: az időd költsége általában magasabb, mint egy külsős átnézőé. Az olcsó fordítás miatt olyan tartalom is megéri a fordítást, amelyre korábban nem: teljes webáruház-katalógus minden variánssal, teljes dokumentációs portál, tudásbázis, GYIK, blogarchívum.

Mit nem hasonlítottak össze?

A PTC-t nem mérték a Google Fordítóhoz, az Azure Translatorhoz és az LLM-alapú szolgáltatások nyilvános API-jaihoz, mert ezek gyakran változnak. A sebességet, a költséget és a fejlesztői élményt sem vizsgálták, csak a minőséget.

Hogyan érhető el ez a minőség az oldaladon?

A PTC a Translate Everything Automatically mód alapértelmezett motorja. A beállításon kívül mindössze annyit kell tenned, hogy kb. egy percben leírod az oldal közönségét és hangnemét a beállításokban, például: „fejlesztőknek szóló szoftvercég, formális hangnem, a szakkifejezések maradjanak angolul”. A PTC ennek alapján igazítja a fordítást a márkád hangjához. A beállítás menete: Az AI-fordítás testreszabása és Translate Everything Automatically.