Napjainkban a klasszikus Word – Excel – Outlook háromszögön túl, az AI rendszerek használata kétségkívül versenyelőnyt jelent a vállalatoknál. Következő szint az automatizált adatfeldolgozásban a havidíjas eszközök mellett, olyan rendszerek alkalmazása, ami használat alapú számlázást indikálnak melynek alapegysége a credit vagy token.
De mi is az a token?
A nyelvi modell a szöveget kisebb egységekre bontja, ezeket dolgozza fel, majd tokenek sorozatában állítja elő a választ. Általában a gyorsabb becslés érdekében 4 karakter = 1 token melyet az adott modell tokenizálója darabol fel.
Miért bontja több tokenre az AI a magyar szavakat, és milyen „szótárt” használ?
A magyar nyelvű AI-használat költségeinek megértéséhez két dolgot kell megkülönböztetni: a magyar nyelv sajátosságait és a tokenizáló működését.
A tokenizáló nem egy hagyományos magyar értelmező szótár. Nem feltétlenül keresi meg a „munkavállalóinkkal” szót egy szótárban, majd rendeli hozzá annak jelentését. Ehelyett a szöveget egy előre meghatározott tokenkészlet alapján darabolja fel.
A tokenkészletet és a felbontás szabályait az adott modellhez tartozó tokenizáló határozza meg. Emiatt ugyanaz a magyar szó két különböző AI-modellben eltérő számú tokenből állhat.
A magyar nyelv sajátosságai, amely növelheti a tokenszámot
1. Agglutináció – több toldalék kapcsolódhat a szóhoz
A magyar nyelv agglutináló, azaz ragasztó nyelv. A toldalékok függvényében a szó nyelvtani jelentése változik.
Például: munkásoknak, munkásainknak
Az angolban ezeknek a jelentéseknek egy része több különálló szóval fejezhető ki.
Például: to the workers, our workers.
A magyar viszont gyakran egyetlen hosszú szóalakba sűríti ugyanezeket az információkat, amennyiben az adott szó nem szerepel a tokenizáló gyakori egységei között, több tokenre bontható, azaz többe kerül, mint az angol verzió.
2. Sokféle szóalak keletkezik ugyanabból a szótőből
A magyarban a főnevekhez és igékhez számos különböző toldalék kapcsolódhat.
Például: számla, számlákat, számláinkról
3. Hosszú összetett szavak
A magyarban gyakoriak az összetett szavak, különösen a szakmai nyelvben.
Például: költségtervezés, létszámgazdálkodás
Egy hosszú összetett szó lehet több ismert token kombinációja. A tokenizáló nem feltétlenül ismeri fel a teljes szót egyetlen egységként.
4. A toldalékok és a szóalakok kevésbé gyakoriak lehetnek a tanítóadatokban
A nyelvi modellek tokenkészlete nem egyenletesen oszlik el minden nyelv között. A gyakori angol szavak és szóalakok sok modell esetében hatékonyan reprezentálhatók, míg egy ritka magyar szóalakot több kisebb egységként értelmez.
5. Ékezetek és speciális karakterek
A magyar ékezetes betűk önmagukban nem feltétlenül jelentenek többletköltséget. A modern tokenizálók képesek ezeket kezelni. Ettől még a teljes magyar szöveg nem feltétlenül lesz ugyanannyi token, mint az angol.
Miért fontos ez a költségek szempontjából?
Ha egy hosszú magyar szóalak több tokenből áll növeli a költségeket akár 60 százalékkal.
Ugyanakkor nem szabad azt feltételezni, hogy minden magyar szó több tokenből áll, vagy hogy minden modell ugyanúgy darabolja a szöveget.
A tényleges felbontást a választott modell tokenizálójával kell ellenőrizni.
Szerző: Anselmo Alexandra
Kép forrás: Canva és AI
