Microsof ha introducido su última iteración del modelo ligero de IA llamado Phi-3 Mini. Este modelo, el primero de las tres versiones más pequeñas que la compañía lanzará, cuenta con 3. 800 millones de parámetros y ha sido entrenado con un conjunto de datos relativamente más pequeño en comparación con modelos de lenguaje más grandes como GPT-4. Ahora los usuarios pueden acceder a Phi-3 Mini en plataformas como Azure, Hugging Face y Ollama. Microsoft tiene planes de lanzar dos versiones más, Phi-3 Small (7. 000 millones de parámetros) y Phi-3 Medium (14. 000 millones de parámetros), en donde los parámetros representan la capacidad del modelo para entender instrucciones complejas. En diciembre, Microsoft lanzó Phi-2, que tuvo un rendimiento similar a modelos más grandes como Llama 2. Según Microsoft, Phi-3 muestra un rendimiento aún mejor que su predecesor y es capaz de proporcionar respuestas similares a modelos diez veces más grandes. Eric Boyd, vicepresidente corporativo de la plataforma de IA de Microsoft Azure, enfatiza que Phi-3 Mini ofrece capacidades comparables a modelos más grandes como GPT-3. 5, pero en un formato más pequeño. En comparación con los modelos más grandes, los modelos de IA más pequeños suelen ser más rentables de operar y ofrecen un rendimiento mejorado en dispositivos personales como teléfonos inteligentes y ordenadores portátiles. A principios de este año se informó que Microsoft estaba formando un equipo dedicado a desarrollar modelos de IA más livianos.

Además de Phi, Microsoft ha creado Orca-Math, un modelo centrado en resolver problemas matemáticos. Otras grandes empresas tecnológicas también ofrecen sus propios modelos de IA más pequeños, muchos de los cuales se centran en tareas más simples como resúmenes de documentos o asistencia en la codificación. Por ejemplo, Gemma 2B y 7B de Google son ideales para chatbots simples y trabajos relacionados con el lenguaje, mientras que Claude 3 Haiku de Anthropic destaca en la lectura y resumen de densos documentos de investigación con gráficos. Llama 3 8B, recientemente lanzado por Meta, puede utilizarse para chatbots y asistencia en la codificación. Boyd detalla el proceso de desarrollo, afirmando que los desarrolladores entrenaron Phi-3 utilizando un "currículum" inspirado en cómo los niños aprenden de cuentos antes de dormir y libros con un lenguaje y estructura de oraciones más simples que abordan temas más amplios. Mediante el aprovechamiento de una extensa lista de más de 3. 000 palabras, se utilizó un LLM para crear "libros infantiles" y enseñar a Phi. Además, Boyd explica que Phi-3 se basa en el conocimiento adquirido de las iteraciones anteriores. Mientras que Phi-1 se centraba en la codificación y Phi-2 comenzó a aprender razonamiento, Phi-3 destaca en ambas áreas. Aunque la familia Phi-3 tiene cierto conocimiento general, no puede igualar la amplitud de un GPT-4 u otro modelo de lenguaje grande entrenado en la totalidad de internet.