Meta juht Mark Zuckerberg teatas kolmapäeval tulukõne käigus olulistest edusammudest generatiivse tehisintellekti treenimisel. Ta avaldas, et Llama 4 mudeli arendamine on käimas, kasutades GPU klastrit, mis ületab kõike eelnevalt teatatud, sisaldades enam kui 100 000 Nvidia H100 kiipi. Llama 4 algne väljalase on oodata järgmise aasta alguses, väiksemate mudelitega arvatavasti saadaval esimesena. See tehisintellekti treeningul saavutatud mahu suurenemine on oluline arenenumate tehisintellekti mudelite loomiseks. Kuigi Meta tundub olevat juhtpositsioonil, jälitavad teised suuremad tehisintellekti arendajad samuti suuremahulisi arvutiklastereid. Märtsis teatati, et Meta ja Nvidia olid eelnevalt töötanud umbes 25 000 H100-ga Llama 3 jaoks, samal ajal kui Elon Musk väitis, et tema xAI ettevõte oli loonud samasuguse seadistuse 100 000 H100-ga. Zuckerberg vihjas Llama 4 võimalustele uute modaliteetide, tugevama mõtlemise ja kiirema jõudluse osas, kuid ei täpsustanud konkreetseid võimeid. Erinevalt OpenAI ja Google'i patenteeritud mudelitest saab Meta Llama mudeleid tasuta alla laadida, mis on ahvatlev alustavatele ettevõtetele ja teadlastele, kes soovivad rohkem kontrolli oma tehisintellekti süsteemide üle. Kuid avatud lähtekoodiga märge sisaldab piiranguid kaubanduslikule kasutamisele ja Meta ei avalda treenimisandmeid. Nii tohutu kiipide arvu haldamine Llama 4 jaoks tekitab inseneri- ja energiaküsimusi.

Arvatakse, et selline klaster vajab 150 megavati võimsust, samal ajal kui suurim USA superarvuti El Capitan kasutab vaid 30 megavati. Meta plaanib kulutada sel aastal kuni 40 miljardit dollarit infrastruktuurile, mis peegeldab 42% kasvu võrreldes 2023. aastaga. Hoolimata tegevuskulude tõusust umbes 9%, on Meta reklaamitulud kasvanud üle 22%, mis viib kõrgemate marginaalide ja kasumiteni, isegi kui suur rahasumma on suunatud Llama projektidele. OpenAI, juhtiv areneva tehisintellekti arendaja, on seevastu jätkuvalt silmitsi väljakutsetega, treenides praegu suuremat GPT-5 mudelit, hallates samal ajal selle mittetulunduslikku tegevust. Zuckerberg kaitses Meta avatud lähtekoodiga strateegiat, väites selle kulutõhusust ja usaldusväärsust võrreldes patenteeritud süsteemidega. Ta usub, et Llama 4 täiustab mitmeid Meta platvormide funktsioone, sealhulgas populaarset Meta tehisintellekti vestlusroboti, mis meelitab kuus üle 500 miljoni kasutaja. Ettevõte näeb reklaami kaudu selles funktsioonis monetiseerimisvõimalusi, pakkudes võimalust Llama laiemaks juurdepääsuks.