Microsoft hat seine neueste Version des leichten KI-Modells namens Phi-3 Mini vorgestellt. Dieses Modell, das erste von drei kleineren Versionen, die vom Unternehmen veröffentlicht werden, verfügt über 3, 8 Milliarden Parameter und wurde im Vergleich zu größeren Sprachmodellen wie GPT-4 mit einem relativ kleineren Datensatz trainiert. Benutzer können nun auf Phi-3 Mini in Plattformen wie Azure, Hugging Face und Ollama zugreifen. Microsoft plant, zwei weitere Versionen, Phi-3 Small (7 Milliarden Parameter) und Phi-3 Medium (14 Milliarden Parameter), zu veröffentlichen, wobei die Parameter die Fähigkeit des Modells repräsentieren, komplexe Anweisungen zu verstehen. Im Dezember veröffentlichte Microsoft Phi-2, das ähnlich wie größere Modelle wie Llama 2 abschnitt. Laut Microsoft bietet Phi-3 eine noch bessere Leistung als sein Vorgänger und ist in der Lage, ähnliche Antworten wie Modelle zehnmal seiner Größe zu liefern. Eric Boyd, Corporate Vice President von Microsoft Azure AI Platform, betont, dass Phi-3 Mini vergleichbare Fähigkeiten wie größere Modelle wie GPT-3. 5 bietet, jedoch in einem kleineren Formfaktor. Im Vergleich zu größeren Modellen sind kleinere KI-Modelle oft kosteneffektiver im Betrieb und liefern eine verbesserte Leistung auf persönlichen Geräten wie Smartphones und Laptops. Anfang dieses Jahres wurde berichtet, dass Microsoft ein Team zusammenstellt, das sich der Entwicklung von leichteren KI-Modellen widmet.

Neben Phi hat Microsoft auch Orca-Math entwickelt, ein Modell, das sich auf die Lösung mathematischer Probleme konzentriert. Auch andere Technologieunternehmen bieten ihre eigenen kleinen KI-Modelle an, von denen viele einfachere Aufgaben wie Dokumentenzusammenfassung oder Unterstützung bei der Codierung anvisieren. Zum Beispiel eignen sich Google's Gemma 2B und 7B ideal für einfache Chatbots und sprachbezogene Arbeiten, während Anthropic's Claude 3 Haiku beim Lesen und Zusammenfassen von dichten Forschungspapieren mit Graphen herausragt. Meta's kürzlich veröffentlichtes Llama 3 8B kann für Chatbots und Codierungsunterstützung genutzt werden. Boyd erläutert den Entwicklungsprozess und erklärt, dass Entwickler Phi-3 mit einem "Curriculum" trainiert haben, das sich davon inspirieren ließ, wie Kinder aus Gutenachtgeschichten und Büchern mit einfacherer Sprache und Satzstruktur lernen, die breitere Themen behandeln. Durch die Nutzung einer umfangreichen Liste von über 3. 000 Wörtern wurde ein LLM verwendet, um "Kinderbücher" zu erstellen, um Phi beizubringen. Darüber hinaus erklärt Boyd, dass Phi-3 auf dem Wissen aus vorherigen Versionen aufbaut. Während sich Phi-1 auf Codierung konzentrierte und Phi-2 begann, das logische Denken zu erlernen, zeichnet sich Phi-3 sowohl in Codierung als auch logischem Denken aus. Obwohl die Phi-3-Familie ein gewisses Verständnis für Allgemeinwissen hat, kann sie nicht mit der Breite eines GPT-4 oder einem anderen großen Sprachmodell mithalten, das auf dem gesamten Internet trainiert wurde.