Cada aplicación de IA se basa en algoritmos que procesan datos en un lenguaje único compuesto de tokens, que son pequeñas unidades derivadas de conjuntos de información más grandes. Los tokens son vitales para los modelos de IA, permitiéndoles aprender relaciones y mejorar capacidades como la predicción, generación y razonamiento. La velocidad a la que se procesan los tokens impacta directamente en la eficiencia y capacidad de respuesta de los modelos de IA. Las fábricas de IA—centros de datos especializados—están diseñadas para acelerar estos procesos, convirtiendo tokens del lenguaje de IA en inteligencia accionable. Esta infraestructura permite a las empresas aprovechar soluciones de computación integral para procesar más tokens de manera eficiente y a un costo reducido, lo que mejora el valor para el cliente. Por ejemplo, la optimización del software y el uso de avanzadas GPU de NVIDIA han logrado una reducción de 20 veces en los costos de procesamiento de tokens, generando 25 veces más ingresos en pocas semanas. La tokenización es el proceso de convertir diversos tipos de datos—texto, imágenes, audio y video—en tokens. Una tokenización efectiva disminuye la potencia computacional necesaria para el entrenamiento e inferencia de IA. Diferentes métodos de tokenización pueden minimizar el tamaño del vocabulario, resultando en menos tokens a gestionar, lo que facilita un procesamiento más rápido. En el contexto de los modelos de lenguaje grandes (LLMs), palabras más cortas pueden ser representadas por un solo token, mientras que las más largas pueden dividirse en múltiples tokens. Por ejemplo, "oscuridad" podría convertirse en "oscuro" y "idad", cada uno asignado un valor numérico. Esta técnica ayuda a los modelos a reconocer significados compartidos y contextos distintos, como los diferentes significados de la palabra "mentira", que puede implicar descansar o engañar. Los tokens juegan un papel crucial durante las fases de entrenamiento e inferencia de una IA.

El preentrenamiento implica la tokenización de conjuntos de datos, a menudo resultando en miles de millones o billones de tokens. El modelo se refina predecir el siguiente token, un proceso que se repite hasta alcanzar un nivel de precisión deseado. La post-entrenamiento se centra en adaptar modelos a tareas o dominios específicos, refinándolos aún más con tokens relevantes. Durante la inferencia, los modelos reciben solicitudes—texto, audio, imágenes, etc. —traduciéndolas a tokens, procesándolos y generando respuestas en el formato esperado. La ventana de contexto dicta cuántos tokens se pueden procesar a la vez, afectando la capacidad del modelo para manejar diversas entradas de datos. Los modelos de razonamiento avanzados generan tokens adicionales para formular respuestas más precisas a consultas complejas, lo que requiere recursos computacionales significativos. Los tokens también influyen en la economía de la IA, representando tanto la inversión en inteligencia durante el entrenamiento como los costos y los ingresos durante la inferencia. Las fábricas de IA se centran en la inferencia de alto volumen, convirtiendo tokens en conocimientos que son monetizados. Los modelos de precios pueden cobrar en función del número de tokens utilizados, permitiendo un uso flexible, como generar salidas extensas a partir de un número mínimo de tokens de entrada. La experiencia del usuario se moldea por métricas relacionadas con los tokens, como el tiempo hasta el primer token y la latencia inter-token, que influyen en la capacidad de respuesta y calidad de las aplicaciones de IA. Equilibrar estos factores es esencial para optimizar la interacción del usuario. Para los chatbots, los tiempos de respuesta rápidos mejoran el compromiso, mientras que otras aplicaciones priorizan la generación de salidas de alta calidad. La plataforma de IA de NVIDIA proporciona herramientas e infraestructura integrales para ayudar a las organizaciones a optimizar su uso de tokens, permitiéndoles maximizar el valor derivado de las aplicaciones de IA y expandir los límites de la inteligencia en diversos sectores.