Hver AI-applikation er afhængig af algoritmer, der behandler data i et unikt sprog bestående af tokens, som er små enheder udledt fra større informationsmængder. Tokens er afgørende for AI-modeller, da de gør det muligt for dem at lære forhold og forbedre kapaciteter som forudsigelse, generation og ræsonnering. Den hastighed, hvormed tokens behandles, påvirker direkte effektiviteten og responsiviteten af AI-modeller. AI-fabrikker—specialiserede datacentre—er designet til at fremskynde disse processer, hvilket konverterer tokens fra AI-sprog til handlingskraftig intelligens. Denne infrastruktur gør det muligt for virksomheder at udnytte omfattende computerløsninger til effektivt at behandle flere tokens til en lavere pris, hvilket i sidste ende øger kundeværdien. For eksempel har optimering af software og brug af avancerede NVIDIA GPU'er opnået en 20-dobbelt reduktion i omkostningerne ved tokenbehandling, samtidig med at der er genereret 25 gange mere indtægt inden for uger. Tokenisering er processen med at omdanne forskellige datatyper—tekst, billeder, lyd og video—til tokens. Effektiv tokenisering reducerer den beregningskraft, der kræves til AI-træning og inferens. Forskellige tokeniseringsmetoder kan minimere størrelsen på vokabularet, hvilket resulterer i færre tokens at håndtere og letter hurtigere behandling. I forbindelse med store sprogmodeller (LLM'er) kan kortere ord repræsenteres af et enkelt token, mens længere ord kan opdeles i flere tokens. For eksempel kan "mørke" blive til "mørk" og "hed, " hver tildelt en numerisk værdi. Denne teknik hjælper modeller med at genkende fælles betydninger og forskellige kontekster, såsom forskellige betydninger for ordet "lyve, " der kan implicere at hvile eller bedrageri. Tokens spiller en afgørende rolle gennem AI's trænings- og inferensfaser.

Fortræning involverer tokenisering af datasæt, hvilket ofte resulterer i milliarder eller trillioner af tokens. Modellen raffineres ved at forudsige det næste token, en proces der gentages, indtil den opnår et ønsket nøjagtighedsniveau. Eftertræning fokuserer på at tilpasse modeller til specifikke opgaver eller domæner ved yderligere at forfine dem med relevante tokens. Under inferens modtager modeller prompts—tekst, lyd, billeder osv. —som oversættes til tokens, behandles og genererer svar i det forventede format. Kontekstvinduet dikterer, hvor mange tokens der kan behandles ad gangen, hvilket påvirker modellens kapacitet til at håndtere forskellige datainput. Avancerede ræsonneringsmodeller genererer yderligere tokens for at formulere mere nøjagtige svar på komplekse forespørgsler, hvilket kræver betydelige beregningsressourcer. Tokens påvirker også AI-økonomi, hvor de repræsenterer både investering i intelligens under træning og brændstofomkostninger og indtægter under inferens. AI-fabrikker fokuserer på højvolumen inferens, der omsætter tokens til indsigt, der kan monetiseres. Prissætningsmodeller kan opkræve baseret på antallet af anvendte tokens, hvilket muliggør fleksibel brug, såsom generering af lange output fra minimale inputtokens. Brugeroplevelsen formes af token-relaterede metrikker som tid til første token og inter-token-latens, som påvirker responsiviteten og kvaliteten af AI-applikationer. At balancere disse faktorer er essentielt for at optimere brugerinteraktionen. For chatbots forbedrer hurtige svartider engagement, mens andre applikationer prioriterer at generere output af høj kvalitet. NVIDIA AI-platformen tilbyder omfattende værktøjer og infrastruktur til at hjælpe organisationer med at optimere deres brug af tokens, hvilket gør dem i stand til at maksimere den værdi, der opnås fra AI-applikationer, og skubbe grænserne for intelligens på tværs af forskellige sektorer.