Microsoft har introduceret sin nyeste iteration af den letvægts AI-model kaldet Phi-3 Mini. Denne model, den første af tre mindre versioner udgivet af virksomheden, har imponerende 3, 8 milliarder parametre og er blevet trænet på et relativt mindre datasæt sammenlignet med større sprogmodeller som GPT-4. Brugere kan nu tilgå Phi-3 Mini på platforme som Azure, Hugging Face og Ollama. Microsoft har planer om at frigive to flere versioner, Phi-3 Small (7 milliarder parametre) og Phi-3 Medium (14 milliarder parametre), hvor parametrene repræsenterer modellens evne til at forstå komplekse instruktioner. I december frigav Microsoft Phi-2, som præsterede på niveau med større modeller som Llama 2. Ifølge Microsoft viser Phi-3 endnu bedre præstation end sin forgænger og er i stand til at levere svar, der ligner modeller ti gange dens størrelse. Eric Boyd, Corporate Vice President for Microsoft Azure AI Platform, understreger, at Phi-3 Mini giver lignende funktioner som større modeller som GPT-3. 5, men i en mindre formfaktor. Sammenlignet med større modeller er mindre AI-modeller ofte mere omkostningseffektive at køre og leverer forbedret ydeevne på personlige enheder som smartphones og bærbare computere. Tidligere på året blev der rapporteret, at Microsoft var ved at samle et hold dedikeret til at udvikle letvægts AI-modeller.

Ud over Phi har Microsoft skabt Orca-Math, en model der fokuserer på at løse matematiske problemer. Andre tech-giganter tilbyder også deres egne små AI-modeller, hvor mange af dem har fokus på enklere opgaver som dokumentresumé eller kodningshjælp. For eksempel er Googles Gemma 2B og 7B ideelle til enkle chatbots og sprogrelateret arbejde, mens Anthropic's Claude 3 Haiku excellerer i at læse og opsummere kompakte forskningsartikler med grafer. Metas nyligt frigivne Llama 3 8B kan anvendes til chatbots og kodningshjælp. Boyd uddyber udviklingsprocessen og forklarer, at udviklere trænede Phi-3 ved at bruge et "pensum" inspireret af, hvordan børn lærer fra godnathistorier og bøger med enklere sprog og sætningsstrukturer, som dækker bredere emner. Ved at udnytte en omfattende liste med over 3. 000 ord blev en LLM brugt til at skabe "børnebøger" for at undervise Phi. Derudover forklarer Boyd, at Phi-3 opbygger videre på den viden, der er opnået fra tidligere iterationer. Mens Phi-1 fokuserede på kodning og Phi-2 begyndte at lære ræsonnement, excellerer Phi-3 både i kodning og ræsonnement. Selvom Phi-3-familien har en vis forståelse for generel viden, kan den ikke matche bredden af en GPT-4 eller en anden stor sprogmodel, der er trænet på hele internettet.