Microsoft представил свою последнюю версию легкой модели искусственного интеллекта под названием Phi-3 Mini. Эта модель, первая из трёх более маленьких версий, выпущенных компанией, имеет 3, 8 миллиарда параметров и была обучена на относительно меньшем наборе данных по сравнению с более крупными языковыми моделями, такими как GPT-4. Пользователи теперь могут получить доступ к Phi-3 Mini на платформах, таких как Azure, Hugging Face и Ollama. У Microsoft есть планы выпустить ещё две версии: Phi-3 Small (7 миллиардов параметров) и Phi-3 Medium (14 миллиардов параметров), где параметры представляют способность модели понимать сложные инструкции. В декабре Microsoft выпустил Phi-2, который продемонстрировал такую же производительность, как у более крупных моделей, таких как Llama 2. Согласно Microsoft, Phi-3 показывает ещё лучшую производительность по сравнению с предшественником и способен предоставлять ответы, подобные моделям в десять раз более крупного размера. Эрик Бойд, вице-президент корпорации Microsoft Azure AI Platform, подчёркивает, что Phi-3 Mini обладает сравнимыми возможностями с более крупными моделями, такими как GPT-3. 5, но в более компактном форм-факторе. По сравнению с более крупными моделями, меньшие модели искусственного интеллекта часто экономически выгоднее в эксплуатации и обладают улучшенной производительностью на персональных устройствах, таких как смартфоны и ноутбуки. Ранее в этом году было сообщено, что Microsoft создаёт команду, посвящённую разработке более легких моделей искусственного интеллекта.

Помимо Phi, Microsoft создала модель Orca-Math, которая фокусируется на решении математических задач. Другие крупные технологические компании также предлагают свои собственные малые модели искусственного интеллекта, многие из которых нацелены на более простые задачи, такие как резюмирование документов или помощь в кодировании. Например, модели Gemma 2B и 7B от Google идеально подходят для простых чат-ботов и работ связанных с языком, в то время как модель Claude 3 Haiku от Anthropic превосходит в чтении и кратком изложении научных статей с графиками. Недавно выпущенная модель Llama 3 8B от Meta может быть использована для чат-ботов и помощи в кодировании. Бойд детализирует процесс разработки, заявляя, что разработчики обучали Phi-3 с использованием "учебного плана", вдохновленного тем, как дети учатся на основе сказок и книг с более простым языком и предложениями, охватывающими более широкие темы. С использованием обширного списка из более чем 3000 слов, используется ЛЛМ для создания "детских книг" для обучения Phi. Более того, Бойд объясняет, что Phi-3 строится на знаниях, полученных от предыдущих версий. В то время как Phi-1 фокусировался на кодировании, а Phi-2 начал изучать рассуждение, Phi-3 преуспел и в кодировании, и в рассуждении. Хотя семейство Phi-3 обладает некоторым пониманием общих знаний, оно не может сравниться с широтой знаний GPT-4 или другой большой языковой модели, обученной на всем интернете.