Η ταχεία παραγωγή εικόνων υψηλής ποιότητας είναι ουσιώδης για τη δημιουργία ρεαλιστικών προσομοιωμένων περιβαλλόντων, τα οποία βοηθούν στην εκπαίδευση αυτόνομων οχημάτων να πλοηγούνται με ασφάλεια σε απρόβλεπτους κινδύνους. Ωστόσο, οι τρέχουσες γενετικές τεχνικές AI, και ιδιαίτερα τα μοντέλα διάχυσης, είναι συχνά πολύ αργές και απαιτητικές υπολογιστικά. Ενώ τα αυτοαναδρομικά μοντέλα, όπως αυτά που τροφοδοτούν τα LLMs όπως το ChatGPT, λειτουργούν πολύ πιο γρήγορα, συνήθως παράγουν εικόνες χαμηλότερης ποιότητας που γεμίζουν με σφάλματα. Ερευνητές από το MIT και την NVIDIA εισήγαγαν το HART (Υβριδικός Αυτοαναδρομικός Μετασχηματιστής), μια νέα μέθοδο παραγωγής εικόνας που συνδυάζει τα πλεονεκτήματα και των δύο προσεγγίσεων. Το HART χρησιμοποιεί ένα αυτοαναδρομικό μοντέλο για να σκιαγραφήσει τα κύρια χαρακτηριστικά μιας εικόνας γρήγορα και στη συνέχεια εφαρμόζει ένα μικρότερο μοντέλο διάχυσης για να εξευγενίσει αυτές τις λεπτομέρειες. Αυτό το καινοτόμο εργαλείο δημιουργεί εικόνες που ανταγωνίζονται ή υπερέχουν της ποιότητας μοντέλων διάχυσης τελευταίας τεχνολογίας, αλλά λειτουργεί περίπου εννέα φορές πιο γρήγορα και με λιγότερη υπολογιστική κατανάλωση, επιτρέποντας τη λειτουργία σε κανονικούς φορητούς υπολογιστές και smartphones. Οι εφαρμογές του HART περιλαμβάνουν την υποστήριξη ερευνητών στην εκπαίδευση ρομπότ για σύνθετες εργασίες και βοηθούν τους σχεδιαστές να δημιουργούν συναρπαστικές σκηνές για βιντεοπαιχνίδια.

«Ακριβώς όπως η βελτίωση μιας άγριας ζωγραφιάς με λεπτομερείς πινελιές αυξάνει την ποιότητά της, το HART συνδυάζει την ευρεία παραγωγή εικόνας με προσεκτική εργασία λεπτομέρειας», λέει ο Χαοτιάν Τανγκ, ένας από τους κύριους συγγραφείς της έρευνας. Τα μοντέλα διάχυσης, που απαιτούν πολλαπλά βήματα για την αποθορυβοποίηση εικόνων, μπορούν να παράγουν πολύ λεπτομερείς οπτικές, αλλά είναι αργά και απαιτητικά σε πόρους. Σε αντίθεση, τα αυτοαναδρομικά μοντέλα δημιουργούν εικόνες πιο γρήγορα δημιουργώντας patches διαδοχικά, αλλά πάσχουν από απώλεια πληροφοριών που οδηγεί σε χαμηλότερη ποιότητα. Το HART αντιμετωπίζει αυτούς τους περιορισμούς προβλέποντας πρώτα διακριτά tokens εικόνας με το αυτοαναδρομικό μοντέλο, ακολουθούμενο από τη χρήση του μοντέλου διάχυσης για να προστεθούν πίσω τυχόν ελλείπουσες λεπτομέρειες, επιτρέποντας γρήγορες και υψηλής ποιότητας εικόνες με μόλις οκτώ βήματα. Κατά την ανάπτυξη, οι ερευνητές αντιμετώπισαν προκλήσεις στην ολοκλήρωση, αλλά βελτίωσαν την ποιότητα του HART εφαρμόζοντας το μοντέλο διάχυσης μόνο για την πρόβλεψη υπολειμμάτων. Ο τελικός τους σχεδιασμός χρησιμοποιεί ένα αυτοαναδρομικό μοντέλο 700 εκατομμυρίων παραμέτρων μαζί με ένα μοντέλο διάχυσης 37 εκατομμυρίων παραμέτρων, επιτυγχάνοντας ποιότητα εικόνας συγκρίσιμη με μεγαλύτερα μοντέλα διάχυσης (έως 2 δισεκατομμύρια παραμέτρους) ενώ καταναλώνει 31% λιγότερη υπολογιστική ισχύ. Κοιτάζοντας μπροστά, η ομάδα σκοπεύει να επεκτείνει την αρχιτεκτονική HART για να αναπτύξει μοντέλα γλώσσας-όρασης και να εξερευνήσει εφαρμογές στη δημιουργία βίντεο και στην πρόβλεψη ήχου, ενδεχομένως επαναστατώντας τις αλληλεπιδράσεις με τα γεννητικά μοντέλα. Αυτή η έρευνα υποστηρίχθηκε από διάφορους οργανισμούς, συμπεριλαμβανομένου του MIT-IBM Watson AI Lab και της NVIDIA, που παρείχαν πόρους GPU για την εκπαίδευση του μοντέλου.