Des chercheurs du MIT ont développé un tableau périodique illustrant les connexions entre plus de 20 algorithmes classiques de machine learning, offrant des idées sur la manière dont la combinaison de stratégies issues de différentes méthodes peut améliorer les modèles d’IA existants ou en inspirer de nouveaux. En utilisant ce cadre, ils ont créé un nouvel algorithme de classification d’images qui a amélioré ses performances de 8 % par rapport aux techniques actuelles de pointe. Le concept derrière le tableau est que tous ces algorithmes apprennent des relations spécifiques entre des points de données, partageant des principes mathématiques fondamentaux, malgré des implémentations différentes. À partir de cela, l’équipe a identifié une équation unificatrice sous-tendant de nombreux algorithmes classiques d’IA, qu’elle a utilisée pour reformuler des méthodes populaires et les organiser en un tableau basé sur les types de relations que chaque algorithme apprend. Tout comme le tableau périodique de la chimie—avec des espaces vides prédisant des éléments encore non découverts—le tableau de l’apprentissage automatique comporte aussi des lacunes, suggérant où pourraient exister des algorithmes encore à inventer. Cet outil permet aux chercheurs de concevoir de nouveaux algorithmes sans avoir à redémontrer les idées précédentes, comme l’a souligné Shaden Alshammari, première auteure et étudiante au MIT, qui a insisté sur le fait que le machine learning peut désormais être considéré comme un système structuré propice à l’exploration plutôt qu’au hasard. Les auteurs de l’article incluent John Hershey (Google AI Perception), Axel Feldmann (étudiant diplômé au MIT), William Freeman (professeur au MIT et membre de CSAIL), et le directeur senior Mark Hamilton (étudiant diplômé au MIT et responsable en ingénierie chez Microsoft). Leurs travaux seront présentés lors de la Conférence internationale sur la représentation de l’apprentissage. La découverte de l’équation unificatrice a été fortuite. Alshammari étudiait initialement des algorithmes de clustering regroupant des images similaires et remarqua des similitudes avec des méthodes d’apprentissage contrastif. En approfondissant, elle découvrit que les deux pouvaient être décrits par la même équation sous-jacente.

Comme le rappelle Hamilton, une fois cette connexion établie, ils ont intégré presque toutes les méthodes classiques qu’ils ont testées dans ce cadre unifié. Nommé apprentissage contrastif d’informations (I-Con), ce cadre montre comment diverses méthodes—des classificateurs de détection de spam aux modèles d’apprentissage profond alimentant de grands modèles de langage—peuvent être interprétées à travers cette équation. Celle-ci saisit la façon dont les algorithmes approximent les relations entre points de données réels en minimisant les écarts par rapport aux connexions effectives dans les données d’entraînement. Pour catégoriser ces algorithmes, les chercheurs ont structuré I-Con sous la forme d’un tableau périodique qui trie les méthodes selon la nature des relations entre points de données et les techniques principales d’approximation. Alshammari note que la compréhension de la structure générale de l’équation a simplifié l’intégration de nouveaux algorithmes dans le cadre. En construisant le tableau, l’équipe a identifié des lacunes où de nouveaux algorithmes pourraient s’insérer. Elle a réussi à en combler une en combinant des idées issues de l’apprentissage contrastif avec le clustering d’images, produisant un algorithme qui classe les images non étiquetées avec 8 % de précision en plus par rapport à une référence de pointe. Ils ont également démontré comment une technique de dé-biaisage en apprentissage contrastif peut améliorer la précision du clustering. La conception du tableau est flexible, permettant d’ajouter de nouvelles lignes et colonnes pour accueillir de nouveaux types de relations entre données. Hamilton suggère que l’approche I-Con encourage les chercheurs à faire preuve de créativité, favorisant des combinaisons d’idées qu’ils n’auraient peut-être pas envisagées auparavant. Dans l’ensemble, cette équation unificatrice élégante, ancrée dans la science de l’information, couvre un siècle de recherche en machine learning et ouvre de nombreuses voies pour de futures découvertes. Yair Weiss, professeur à l’Université hébraïque de Jérusalem et extérieur à cette étude, a salué I-Con comme un exemple rare de travail unificateur qui pourrait inspirer des efforts similaires dans d’autres domaines du machine learning, d’autant plus important face à l’afflux annuel de nouvelles publications. Cette recherche a bénéficié du soutien de l’Air Force Artificial Intelligence Accelerator, de l’Institut d’intelligence artificielle et d’interactions fondamentales de la National Science Foundation, ainsi que de Quanta Computer.