Selon les rapports, Meta prévoit de sortir des versions réduites de son modèle de langue Llama pour répondre aux besoins des entreprises recherchant des modèles d'IA économiques pour le public. The Information a déclaré que Meta prévoit de lancer deux petites versions de Llama 3 ce mois-ci, suivies du modèle phare cet été. The Verge a contacté Meta pour obtenir un commentaire. Cette tendance reflète la demande croissante de modèles d'IA légers proposés par les développeurs d'IA. Meta a déjà lancé une version plus petite de son modèle Llama 2, connue sous le nom de Llama 2 7B, en février de l'année dernière. Google a également dévoilé la famille de modèles Gemma en février, et Mistral, une entreprise française d'IA, propose le modèle Mistral 7B. Bien que ces modèles ne puissent pas gérer de longues instructions utilisateur, ils sont plus rapides, plus flexibles et, surtout, plus économiques par rapport aux modèles de taille régulière.

Cependant, ils sont toujours capables d'effectuer des tâches d'IA puissantes, telles que la résumé de PDF, les conversations et la rédaction de code. Les modèles plus grands sont généralement utilisés pour des tâches complexes telles que la génération de photos ou l'exécution de plusieurs commandes. En raison de leur nombre réduit de paramètres (les données qu'ils apprennent), ces modèles légers nécessitent moins de puissance de calcul. L'attrait des modèles légers réside dans leur adaptabilité à des applications spécifiques et à des projets ciblés. Ils sont utilisés dans des domaines tels que l'assistance au code et sur des appareils comme les téléphones ou les ordinateurs portables qui ne supportent peut-être pas la consommation d'énergie des modèles d'IA plus volumineux.