Les leaders de l'IA réévaluent la formation de modèles linguistiques de grande taille nécessitant beaucoup de données, car les modèles traditionnels, se développant de manière linéaire avec les données, pourraient avoir atteint leurs limites. L'industrie soutient désormais des modèles plus petits, plus efficaces, et des méthodes d'entraînement innovantes. Pendant des années, des entreprises comme OpenAI, Meta et Google ont rassemblé d'énormes ensembles de données, supposant que plus de données conduisaient à des modèles plus intelligents. Cependant, cette sagesse conventionnelle est remise en question. Les recherches indiquent que les transformers, les réseaux neuronaux derrière ces modèles, s'adaptent en fonction des données et de la puissance de calcul qu'ils reçoivent. Alex Voica, consultant à l'Université d'Intelligence Artificielle Mohamed bin Zayed, a expliqué que les modèles transformers traditionnels suivent cette relation linéaire. Mais les dirigeants commencent à percevoir les limites de cette approche et explorent de nouvelles façons de faire progresser la technologie. Les gros investissements en IA reposaient sur la croyance que cette évolution continuerait, le PDG de Scale AI, Alexandr Wang, la décrivant comme la "plus grande question de l'industrie. " Certains soutiennent que la méthode actuelle est simpliste; Aidan Gomez, PDG de Cohere, affirme qu'augmenter simplement la taille des modèles et la puissance de calcul est à la fois la méthode la plus fiable et la moins innovante pour améliorer les modèles. Gomez prône des modèles plus petits et rentables, obtenant le soutien de l'industrie.

Cependant, des inquiétudes subsistent quant à la capacité de cette approche à atteindre l'intelligence artificielle générale, une IA capable d'intelligence au niveau humain, que les grandes entreprises technologiques souhaitent développer. Les modèles linguistiques de grande taille sont entraînés à "prédire le prochain token" dans une séquence, comme l'explique Richard Socher, PDG de You. com. Il propose d'améliorer les modèles en faisant en sorte qu'ils transforment les questions en code, réduisant ainsi les erreurs et améliorant les capacités. Tous les leaders ne sont pas d'accord pour dire que l'IA a atteint un point mort. Kevin Scott, directeur technologique de Microsoft, soutient que le scaling continue de produire des résultats, contrairement à certaines croyances de l'industrie. OpenAI, par exemple, a cherché à améliorer les modèles existants comme o1, sorti en septembre, qui utilise toujours des techniques de prédiction mais est spécialisé pour les tâches quantitatives telles que la programmation et les mathématiques. La distinction entre o1 et ChatGPT réside dans le temps de traitement amélioré d'o1 pour générer des réponses. Waleed Kadous, ancien leader en ingénierie, compare GPT-4 à un ami loquace qui propose de nombreuses idées, tandis qu'o1 est comme un ami réfléchi qui offre des réponses concises et précises.