Каждое приложение ИИ основывается на алгоритмах, которые обрабатывают данные на уникальном языке, состоящем из токенов — мелких единиц, происходящих из более крупных наборов информации. Токены жизненно важны для моделей ИИ, позволяя им изучать взаимосвязи и улучшать такие возможности, как прогнозирование, генерация и рассуждение. Скорость обработки токенов напрямую влияет на эффективность и отзывчивость моделей ИИ. Фабрики ИИ — специализированные центры обработки данных — предназначены для ускорения этих процессов, преобразуя токены из языка ИИ в действенную информацию. Эта инфраструктура позволяет предприятиям использовать комплексные вычислительные решения для эффективной обработки большего количества токенов с снижением затрат, что в конечном итоге повышает ценность для клиентов. Например, оптимизация программного обеспечения и использование современных графических процессоров NVIDIA позволили достигнуть двадцатикратного снижения затрат на обработку токенов, при этом увеличение дохода составило в 25 раз всего за несколько недель. Токенизация — это процесс преобразования различных типов данных — текста, изображений, аудио и видео — в токены. Эффективная токенизация снижает вычислительную мощность, необходимую для обучения и вывода моделей ИИ. Разные методы токенизации могут минимизировать размер словаря, что приводит к уменьшению количества токенов для управления, способствуя более быстрой обработке. В контексте больших языковых моделей (LLM) более короткие слова могут представляться одним токеном, тогда как более длинные могут быть разделены на несколько токенов. Например, слово "темнота" может быть разделено на "темно" и "та", каждому из которых присваивается числовое значение. Эта техника помогает моделям распознавать общие значения и различные контексты, такие как различные значения слова "лжа", которое может подразумевать отдых или обман. Токены играют ключевую роль на протяжении фаз обучения и вывода ИИ. Предварительное обучение включает токенизацию наборов данных, что часто приводит к образованию миллиардов или триллионов токенов.

Модель уточняется путем предсказания следующего токена, процесс повторяется до достижения желаемого уровня точности. Пост-обучение сосредоточено на адаптации моделей к конкретным задачам или областям, дополнительно дорабатывая их с помощью соответствующих токенов. Во время вывода модели получают подсказки — текст, аудио, изображения и т. д. — переводят их в токены, обрабатывают их и генерируют ответы в ожидаемом формате. Окно контекста определяет, сколько токенов можно обработать одновременно, что влияет на способность модели справляться с различными входными данными. Продвинутые модели рассуждений генерируют дополнительные токены для более точного формирования ответов на сложные запросы, что требует значительных вычислительных ресурсов. Токены также влияют на экономику ИИ, представляя как инвестиции в интеллект в процессе обучения, так и затраты и доходы во время вывода. Фабрики ИИ сосредоточены на высоком объеме вывода, превращая токены в инсайты, которые можно монетизировать. Модели ценообразования могут взимать плату на основе количества используемых токенов, что позволяет гибко использовать, например, генерировать длинные результаты из минимального количества входных токенов. Пользовательский опыт формируется такими метриками, связанными с токенами, как время до первого токена и задержка между токенами, которые влияют на отзывчивость и качество приложений ИИ. Балансировка этих факторов имеет ключевое значение для оптимизации взаимодействия с пользователем. Для чат-ботов быстрые время ответа повышает вовлеченность, тогда как другие приложения акцентируют внимание на генерации качественного выхода. Платформа NVIDIA AI предоставляет комплексные инструменты и инфраструктуру, позволяющие организациям оптимизировать использование токенов, что дает им возможность максимизировать ценность, получаемую от приложений ИИ, и расширять границы интеллекта в различных секторах.