Οι ερευνητές από το MIT έχουν αναπτύξει έναν περιοδικό πίνακα που απεικονίζει των συνδέσεων μεταξύ άνω των 20 κλασικών αλγορίθμων μηχανικής μάθησης, προσφέροντας insights για το πώς η συνδυαστική χρήση στρατηγικών από διαφορετικές μεθόδους μπορεί να βελτιώσει τα υπάρχοντα μοντέλα AI ή να εμπνεύσει νέα. Χρησιμοποιώντας αυτό το πλαίσιο, δημιούργησαν έναν νέο αλγόριθμο ταξινόμησης εικόνων που βελτίωσε την απόδοση κατά 8 τοις εκατό σε σχέση με τις τρέχουσες κορυφαίες τεχνικές. Η ιδέα πίσω από τον πίνακα είναι ότι όλοι αυτοί οι αλγόριθμοι μαθαίνουν συγκεκριμένες σχέσεις μεταξύ δεδομένων, με βασικές μαθηματικές αρχές κοινές σε όλους παρά τις διαφορετικές υλοποιήσεις τους. Από αυτό, η ομάδα εντόπισε μια ενοποιημένη εξίσωση που υποστηρίζει πολλούς κλασικούς αλγόριθμους AI, και χρησιμοποίησε αυτή για να αναδιατυπώσει δημοφιλείς μεθόδους και να τις οργανώσει σε πίνακα βασισμένο στους τύπους των σχέσεων που μαθαίνει κάθε αλγόριθμος. Όπως και ο περιοδικός πίνακας χημείας—with άδειες θέσεις που προβλέπουν άδηλα στοιχεία—έτσι και ο πίνακας της μηχανικής μάθησης περιέχει κενά που υποδεικνύουν πού μπορεί να υπάρχουν ακόμα ανέκαθεν εφευρεμένοι αλγόριθμοι. Αυτό το εργαλείο επιτρέπει στους ερευνητές να σχεδιάζουν νέους αλγόριθμους χωρίς να χρειάζεται να ξαναανακαλύψουν προηγούμενες ιδέες, όπως τόνισε η Shaden Alshammari, επικεφαλής συγγραφέας και μεταπτυχιακή φοιτήτρια του MIT, επισημαίνοντας ότι η μηχανική μάθηση μπορεί πλέον να θεωρείται ως ένα δομημένο σύστημα που είναι έτοιμο για εξερεύνηση και όχι τυχαία υποθέσεις. Οι συγγραφείς της εργασίας περιλαμβάνουν τους John Hershey (Google AI Perception), Axel Feldmann (μεταπτυχιακός του MIT), William Freeman (καθηγητής στο MIT και μέλος του CSAIL) και τον ανώτερο συγγραφέα Mark Hamilton (μεταπτυχιακός του MIT και διευθυντής μηχανικής της Microsoft). Το έργο τους θα παρουσιαστεί στο Διεθνές Συνέδριο για τις Αναπαραστάσεις της Μάθησης. Η ανακάλυψη της ενοποιημένης εξίσωσης έγινε τυχαία. Η Alshammari μελέτησε αρχικά αλγόριθμους σύγχρονης ομαδοποίησης εικόνων και παρατήρησε ομοιότητες με μεθόδους αντίθετης μάθησης. Εξερευνώντας περαιτέρω, διαπίστωσε ότι και τα δύο θα μπορούσαν να περιγραφούν από την ίδια βασική εξίσωση.

Όπως θυμάται ο Hamilton, μόλις ανακάλυψαν αυτή τη σύνδεση, ενσωμάτωσαν σχεδόν κάθε κλασική μέθοδο που δοκίμασαν σε αυτό το ενιαίο πλαίσιο. Το πλαίσιο ονομάζεται information contrastive learning (I-Con) και δείχνει πώς διάφοροι αλγόριθμοι—από ταξινομητές καταπολέμησης spam μέχρι βαθιά νευρωνικά μοντέλα που τροφοδοτούν μεγάλα γλωσσικά μοντέλα—μπορούν να ερμηνευθούν μέσω αυτής της εξίσωσης. Η εξίσωση αποτυπώνει πώς οι αλγόριθμοι approximάρουν τις σχέσεις μεταξύ πραγματικών σημείων δεδομένων, ελαχιστοποιώντας τις αποκλίσεις από τις υπαρκτές συνδέσεις μέσα στα εκπαιδευτικά δεδομένα. Για την κατηγοριοποίηση αυτών των αλγόριθμων, οι ερευνητές οργάνωσαν το I-Con σε έναν περιοδικό πίνακα που ταξινομεί τις μεθόδους βασιζόμενοι στη φύση των συνδέσεων μεταξύ δεδομένων και στις κύριες τεχνικές προσεγγισής τους. Η Alshammari σημειώνει ότι η αναγνώριση της γενικής δομής της εξίσωσης απλοποίησε την προσθήκη περισσότερων αλγορίθμων στο πλαίσιο. Καθώς κατασκευάζαν τον πίνακα, η ομάδα εντόπισε κενά όπου θα μπορούσαν να χωρέσουν νέοι αλγόριθμοι. Έδωσαν λύση σε ένα από αυτά συνδυάζοντας ιδέες από την αντίθετη μάθηση και την ομαδοποίηση εικόνων, δημιουργώντας έναν αλγόριθμο που ταξινομεί ασυσταύρωτες εικόνες κατά 8 τοις εκατό καλύτερα από ένα κορυφαίο πρότυπο. Επίσης, έδειξαν πώς μια τεχνική απαλλαγής από προκαταλήψεις στην αντίθετη μάθηση μπορεί να αυξήσει την ακρίβεια της ομαδοποίησης. Ο σχεδιασμός του πίνακα είναι ευέλικτος, επιτρέποντας την προσθήκη νέων σειρών και στηλών για την ενσωμάτωση νέων τύπων σχέσεων δεδομένων. Ο Hamilton προτείνει ότι το I-Con ενθαρρύνει τους ερευνητές να σκεφτούν δημιουργικά, προωθώντας συνδυασμούς ιδεών που ίσως δεν είχαν εξετάσει προηγουμένως. Συνολικά, αυτή η κομψή ενοποιημένη εξίσωση, βασισμένη στην επιστήμη των πληροφοριών, καλύπτει έναν αιώνα ερευνών στη μηχανική μάθηση και ανοίγει πολλούς δρόμους για μελλοντικές ανακαλύψεις. Ο Yair Weiss, καθηγητής στο Εβραϊκό Πανεπιστήμιο του Ιερουσαλήμ που δεν συμμετείχε στη μελέτη, επαίνεσε το I-Con ως ένα σπάνιο παράδειγμα ενοποιητικής δουλειάς που θα μπορούσε να εμπνεύσει παρόμοιες προσπάθειες σε διάφορους τομείς της μηχανικής μάθησης, ειδικά δεδομένης της πλημμυρίδας νέων ερευνών κάθε χρόνο. Αυτή η ερευνά υποστηρίχθηκε από το Air Force Artificial Intelligence Accelerator, το Εθνικό Ίδρυμα Επιστημών (NSF) και το Quanta Computer.