Iga AI rakendus tugineb algoritmidele, mis töötlevad andmeid ainulaadses keeles, mis koosneb tokenitest – väikesed üksused, mis on tuletatud suurematest teabekomplektidest. Tokenid on AI mudelite jaoks hädavajalikud, võimaldades neil õppida seoseid ja parandada selliseid võimeid nagu ennustamine, genereerimine ja põhjendamine. Tokenite töötlemise kiirus mõjutab otseselt AI mudelite efektiivsust ja reageerimisvõimet. AI tehased – spetsialiseeritud andmekeskused – on loodud nende protsesside kiirendamiseks, muutes AI keeles tokenid rakendatavaks teabeks. See infrastruktuur võimaldab ettevõtetel kasutada põhjalikke arvutuslahendusi, et tõhusalt töödelda rohkem tokene madalama hinnaga, mis lõpuks suurendab kliendiväärtust. Näiteks tarkvara optimeerimine ja edasiste NVIDIA GPU-de kasutamine on saavutanud 20-kordse vähenemise tokenite töötlemise kuludes, samas kui tulu on kasvanud 25 korda vaid nädalate jooksul. Tokeniseerimine on erinevate andmeliikide – tekst, pildid, heli ja video – muutmise protsess tokeniteks. Efektiivne tokeniseerimine vähendab AI koolitamiseks ja tuvastamiseks vajaliku arvutusvõimsuse vajadust. Erinevad tokeniseerimismeetodid võivad vähendada sõnavara suurust, mille tulemuseks on vähem mgmt tokenite, mis soodustab kiiremat töötlemist. Suure keelemudelite (LLM) kontekstis võivad lühemad sõnad olla esindatud ühe tokenina, samas kui pikemad võivad jaguneda mitmeks tokeniks. Näiteks "pimedus" võib muutuda "pimedaks" ja "suseks", kummalegi määratakse numbriline väärtus. See tehnika aitab mudelitel tuvastada jagatud tähendusi ja eristada kontekste, nagu erinevad tähendused sõnale "vale", mis võib viidata puhkusele või petmisele. Tokenid mängivad olulist rolli kogu AI koolituse ja tuvastamise etappides.

Eelkoolitus hõlmab andmestike tokeniseerimist, mis sageli toob kaasa miljardite või triljonite tokenite tekkimise. Mudelit täiustatakse järgmise tokeni ennustamise kaudu, mida korratakse, kuni saavutatakse soovitud täpsuse tase. Koolitusjärgne etapp keskendub mudelite kohandamisele konkreetsetele ülesannetele või valdkondadele, täiendava relevantsete tokenitega viimisel. Tuvastamise käigus saavad mudelid signaale – teksti, heli, pilte jne – tõlgitakse need tokeniteks, töödeldakse ja genereeritakse vastuseid oodatud vormingus. Konteksti aken määrab, kui palju tokene saab korraga töödelda, mõjutades mudeli võimet hallata erinevaid andmesisestusi. Edasised põhjendusmudelid genereerivad täiendavaid tokenid, et koostada täpsemaid vastuseid keerukatele päringutele, mis nõuavad märkimisväärseid arvutusressursse. Tokenid mõjutavad ka AI ökonoomikat, esindades nii investeeringut intelligentsuses koolitamise ajal kui ka kütuse kulusid ja tulu tuvastamise ajal. AI tehased keskenduvad suures mahus tuvastamisele, muutes tokenid teadmisteks, mida monetiseeritakse. Hinnamudelid võivad sõltuda kasutatud tokenite arvust, võimaldades paindlikku kasutust, näiteks pikaajaliste väljundite genereerimist väheste sisendtokenite põhjal. Kasutajakogemust kujundavad tokenitega seotud näitajad, nagu esimese tokeni saamise aeg ja tokenitevaheline latentsus, mis mõjutavad AI rakenduste reageerimisvõimet ja kvaliteeti. Nende tegurite tasakaalustamine on oluline kasutajainteraktsiooni optimeerimiseks. Vestlusrobotite jaoks parandavad kiire reageerimise ajad kaasatust, samas kui teised rakendused prioriteediks kõrge kvaliteediga väljundi genereerimine. NVIDIA AI platvorm pakub laia tööriistade ja infrastruktuuri valikut, et aidata organisatsioonidel optimeerida oma tokenite kasutust, võimaldades neil maksimeerida AI rakendustest saadavat väärtust ja tõukuda intelligentsuse piire erinevatesse valdkondadesse.