Generative AI-modeller, som f. eks. transformer-baserede modeller, der anvendes af Gemma og OpenAI's GPT-4o, er afhængige af tokenisering til at behandle tekst. Tokenisering indebærer, at teksten opdeles i mindre enheder kaldet tokens. Tokens kan være ord, stavelser eller endda enkelte tegn. Tokenisering gør det muligt for transformerne at håndtere mere information og øger den semantiske inputkapacitet. Dog introducerer tokenisering også bias og kan føre til bizarre adfærdsmønstre.

Tokenisatorer behandler store og små bogstaver forskelligt, kan have mærkelig afstand og kan have svært ved sprog, der ikke bruger mellemrum mellem ordene. Tokeniseringsmetoder skaber også udfordringer i matematikrelaterede opgaver og sprog med logografiske eller agglutinerende skriftsystemer. Tokeniseringsproblemer kan tackles ved hjælp af innovationer som byte-niveau modeller som f. eks. MambaByte, der undgår tokenisering og arbejder direkte med rå tekst. Dog kan det måske være bedst at finde nye modelarkitekturer for at overvinde begrænsningerne ved tokenisering.