Le PDG de Meta, Mark Zuckerberg, a annoncé des avancées significatives dans la formation de l'IA générative lors d'un appel aux résultats mercredi. Il a révélé que le développement du modèle Llama 4 est actuellement en cours, utilisant un cluster de GPU qui dépasse tout ce qui a été rapporté auparavant, spécifiquement avec plus de 100 000 puces Nvidia H100. Le lancement initial de Llama 4 est prévu pour le début de l'année prochaine, avec probablement des modèles plus petits disponibles d'abord. Cette augmentation de l'échelle de formation de l'IA est considérée comme cruciale pour construire des modèles d'IA plus avancés. Bien que Meta semble avoir une avance, d'autres acteurs majeurs dans le domaine de l'IA poursuivent également de grands clusters de calcul. En mars, il a été noté que Meta et Nvidia avaient précédemment travaillé avec environ 25 000 H100 pour Llama 3, tandis qu'Elon Musk affirmait que son entreprise xAI avait établi une configuration similaire avec 100 000 H100. Zuckerberg a laissé entendre le potentiel de Llama 4 pour de nouvelles modalités, un raisonnement plus solide et une performance plus rapide, mais il n'a pas détaillé de capacités spécifiques. Contrairement aux modèles propriétaires d'OpenAI et de Google, les modèles Llama de Meta peuvent être téléchargés gratuitement, ce qui a séduit les startups et les chercheurs souhaitant plus de contrôle sur leurs systèmes d'IA.

Cependant, le label open-source est assorti de restrictions sur l'utilisation commerciale, et Meta ne divulgue pas les détails de la formation. Gérer un ensemble aussi vaste de puces pour Llama 4 pose des défis d'ingénierie et d'énergie. On estime qu'un cluster de cette taille nécessiterait 150 mégawatts de puissance, tandis que le plus grand superordinateur américain, El Capitan, utilise seulement 30 mégawatts. Meta prévoit de dépenser jusqu'à 40 milliards de dollars cette année en infrastructures, reflétant une augmentation de 42 % par rapport à 2023. Malgré l'augmentation des coûts d'exploitation d'environ 9 %, les ventes globales de Meta provenant de la publicité ont augmenté de plus de 22 %, ce qui a entraîné des marges et des bénéfices plus élevés même si des fonds importants sont alloués aux projets Llama. En revanche, OpenAI, le principal développeur d'IA de pointe, continue de rencontrer des défis, formant actuellement le modèle GPT-5 plus grand tout en gérant son fonctionnement en tant qu'entreprise à but non lucratif. Zuckerberg a défendu la stratégie open-source de Meta, affirmant qu'elle est rentable et digne de confiance par rapport aux systèmes propriétaires. Il croit que Llama 4 améliorera une variété de fonctionnalités sur les plateformes de Meta, y compris le populaire chatbot Meta AI, qui attire plus de 500 millions d'utilisateurs mensuels. L'entreprise prévoit des opportunités de monétisation grâce à la publicité dans cette fonctionnalité, suggérant une voie pour subventionner Llama pour un accès plus large.