Každá aplikace umělé inteligence se spoléhá na algoritmy, které zpracovávají data v jedinečném jazyce složeném z tokenů, což jsou malé jednotky odvozené z větších sad informací. Tokeny jsou zásadní pro modely AI, protože jim umožňují učit se vztahy a zlepšovat schopnosti jako je predikce, generování a uvažování. Rychlost, jakou jsou tokeny zpracovávány, má přímý dopad na efektivitu a reaktivitu modelů AI. AI továrny—specializovaná datová centra—jsou navržena tak, aby urychlila tyto procesy, přičemž převádějí tokeny z jazyka AI na akční poznatky. Tato infrastruktura umožňuje podnikům využívat komplexní výpočetní řešení pro efektivní zpracování více tokenů za nižší náklady, což nakonec zvyšuje hodnotu pro zákazníka. Například optimalizace softwaru a využívání pokročilých GPU od NVIDIA dosáhlo 20násobného snížení nákladů na zpracování tokenů, zatímco za několik týdnů vygenerovalo 25krát více příjmů. Tokenizace je proces převodu různých typů dat—textu, obrázků, zvuku a videa—na tokeny. Efektivní tokenizace snižuje výpočetní výkon potřebný pro trénink a inference AI. Různé metody tokenizace mohou minimalizovat velikost slovníku, což vede k menšímu počtu tokenů k obsluze a usnadňuje rychlejší zpracování. V kontextu velkých jazykových modelů (LLMs) mohou být kratší slova reprezentována jediným tokenem, zatímco delší mohou být rozdělena na více tokenů. Například "temnota" by se mohla stát "temnou" a "tou", přičemž každá by byla přiřazena číselná hodnota. Tato technika pomáhá modelům rozpoznávat sdílené významy a odlišné kontexty, jako jsou různé významy slova "lež", které může znamenat odpočinek nebo klam. Tokeny hrají klíčovou roli během tréninkových a inferenčních fází umělé inteligence.

Předtrénink zahrnuje tokenizaci datových sad, což často vede k miliardám nebo trilionům tokenů. Model je zdokonalován předpovídáním dalšího tokenu, což je proces opakovaný, dokud nedosáhne požadované úrovně přesnosti. Po tréninku se zaměřuje na přizpůsobení modelů konkrétním úkolům či oblastem dalším zdokonalováním pomocí relevantních tokenů. Během inference modely přijímají podněty—text, audio, obrázky atd. —které převádějí na tokeny, zpracovávají je a generují odpovědi ve požadovaném formátu. Okno kontextu určuje, kolik tokenů může být zpracováno najednou, což ovlivňuje kapacitu modelu zvládat různé vstupy dat. Pokročilé modely uvažování generují další tokeny, aby vytvořily přesnější odpovědi na složité dotazy, což vyžaduje značné výpočetní zdroje. Tokeny také ovlivňují ekonomiku AI, představují investice do inteligence během tréninku a nákladů na palivo a příjmy během inference. AI továrny se zaměřují na vysoký objem inference, přičemž mění tokeny na poznatky, které se monetizují. Ceníkové modely mohou účtovat na základě počtu použitých tokenů, což umožňuje flexibilní využití, například generování rozsáhlých výstupů z minimálních vstupních tokenů. Uživatelský zážitek formují metriky související s tokeny, jako je čas do prvního tokenu a latence mezi tokeny, které ovlivňují reaktivitu a kvalitu aplikací AI. Vyvážení těchto faktorů je nezbytné pro optimalizaci interakce uživatelů. U chatbotů rychlé doby odezvy zvyšují zapojení, zatímco jiné aplikace upřednostňují generování vysoce kvalitních výstupů. Platforma NVIDIA AI poskytuje komplexní nástroje a infrastrukturu, které pomáhají organizacím optimalizovat využití tokenů, což jim umožňuje maximalizovat hodnotu získanou z aplikací AI a posunout hranice inteligence v různých odvětvích.