Meta CEO Mark Zuckerberg kondigde woensdag tijdens een winstoproep aanzienlijke vooruitgang aan in het trainen van generatieve AI. Hij onthulde dat de ontwikkeling van het Llama 4-model momenteel aan de gang is, met gebruik van een GPU-cluster dat alles overtreft wat eerder is gerapporteerd, specifiek met meer dan 100. 000 Nvidia H100-chips. De initiële lancering van Llama 4 wordt begin volgend jaar verwacht, waarbij kleinere modellen waarschijnlijk eerst beschikbaar zijn. Deze toename in AI-trainingsschaal wordt beschouwd als cruciaal voor het bouwen van geavanceerdere AI-modellen. Hoewel Meta een voorsprong lijkt te hebben, streven ook andere grote spelers in het AI-veld naar grote computerclusters. In maart werd opgemerkt dat Meta en Nvidia eerder met ongeveer 25. 000 H100's hadden gewerkt voor Llama 3, terwijl Elon Musk beweerde dat zijn xAI-onderneming een vergelijkbare opzet had met 100. 000 H100's. Zuckerberg hintte naar het potentieel van Llama 4 voor nieuwe modaliteiten, sterkere redenering en snellere prestaties, hoewel hij geen specifieke capaciteiten uitwerkte. In tegenstelling tot propriëtaire modellen van OpenAI en Google kunnen Meta's Llama-modellen gratis worden gedownload, wat aantrekkelijk is voor startups en onderzoekers die meer controle willen over hun AI-systemen.

Het open-source label komt echter met beperkingen op commercieel gebruik, en Meta onthult geen trainingsdetails. Het beheren van zo'n uitgebreide reeks chips voor Llama 4 vormt technische en energievraagstukken. Naar schatting zou een cluster van deze omvang 150 megawatt vermogen vereisen, terwijl de grootste supercomputer in de VS, El Capitan, slechts 30 megawatt verbruikt. Meta is van plan dit jaar tot $ 40 miljard uit te geven aan infrastructuur, wat een stijging van 42% betekent ten opzichte van 2023. Ondanks stijgende operationele kosten van ongeveer 9%, zijn de totale verkoopcijfers van Meta uit advertenties met meer dan 22% gestegen, wat leidt tot hogere marges en winsten zelfs terwijl aanzienlijke middelen naar de Llama-projecten worden toegewezen. In tegenstelling daarmee blijft OpenAI, de toonaangevende ontwikkelaar van geavanceerde AI, uitdagingen ondervinden terwijl het momenteel werkt aan de grotere GPT-5-model. Zuckerberg verdedigde Meta's open-source strategie en stelde dat deze kosteneffectief en betrouwbaar is in vergelijking met propriëtaire systemen. Hij gelooft dat Llama 4 een verscheidenheid aan functies op Meta's platforms zal verbeteren, waaronder de populaire Meta AI-chatbot, die maandelijks meer dan 500 miljoen gebruikers trekt. Het bedrijf voorziet kansen voor monetaire winst via advertenties in deze functie, wat een pad suggereert om Llama voor bredere toegang te subsidiëren.