Mark Zuckerberg, a Meta vezérigazgatója jelentős előrelépéseket jelentett be a generatív AI képzés terén egy szerdai nyereségbeszélgetés során. Kiderült, hogy jelenleg folyamatban van a Llama 4 modell fejlesztése, amely egy olyan GPU-klasztert használ, amely felülmúlja a korábban jelentetteket, konkrétan több mint 100 000 Nvidia H100 chipet tartalmazva. A Llama 4 első indítását várhatóan jövő év elejére, kisebb modellek először várhatóan elérhetők lesznek. Úgy vélik, hogy az AI képzési méret növekedése létfontosságú az előrehaladottabb AI modellek építéséhez. Bár úgy tűnik, hogy a Meta vezető szerepet játszik, az AI területén más nagy szereplők is nagy számítási klaszterek fejlesztésére törekszenek. Márciusban megjegyezték, hogy a Meta és az Nvidia korábban körülbelül 25 000 H100-zal dolgozott a Llama 3-on, míg Elon Musk azt állította, hogy az xAI vállalkozása hasonló beállítást hozott létre 100 000 H100-zal. Zuckerberg utalt a Llama 4 új modalitásokra való képességére, erősebb indoklásra és gyorsabb teljesítményre, bár nem részletezte a konkrét képességeket. Az OpenAI és a Google tulajdonosi modelljeivel ellentétben a Meta Llama modelljei ingyenesen letölthetők, ami vonzó a startupok és azok számára, akik nagyobb ellenőrzést akarnak AI rendszereik felett.

Azonban a nyílt forráskódú címkézés kereskedelmi használatra vonatkozó korlátozásokkal jár, és a Meta nem közöl képzési részleteket. A Llama 4-hez tartozó ilyen méretű chipek kezeléséhez mérnöki és energiakihívásokkal kell szembenéznie. Becslések szerint ekkora klaszterhez 150 megawatt energia szükséges, míg a legnagyobb amerikai szuperkomputer, az El Capitan, csak 30 megawattot használ. A Meta tervezi, hogy ebben az évben akár 40 milliárd dollárt költ infrastruktúrára, ami 42%-os növekedést jelent 2023-hoz képest. Annak ellenére, hogy a működési költségek közel 9%-kal nőttek, a Meta reklámokból származó összesített bevételei több mint 22%-kal nőttek, amit magasabb margók és nyereségek fűszereznek, még akkor is, ha jelentős forrásokat szánnak a Llama projektekre. Ezzel szemben az OpenAI, a vezető AI fejlesztő, kihívásokkal szembesül, jelenleg a nagyobb GPT-5 modellt próbálja kiképzeni nonprofit projektként kezelve működését. Zuckerberg megvédte a Meta nyílt forráskódú stratégiáját, azzal érvelve, hogy költséghatékonyabb és megbízhatóbb a tulajdonosi rendszerekhez képest. Úgy véli, hogy a Llama 4 fokozza a Meta platformok különféle funkcióit, ideértve a népszerű Meta AI chatbotot, amely havonta több mint 500 millió felhasználót vonz. A cég meglátja a reklámlehetőségeket ebben a funkcióban, ami szélesebb körű hozzáférés biztosítása érdekében támogatást javasol a Llama számára.