Και προχώρησαν και το κυκλοφόρησαν ούτως ή άλλως. Ενημέρωση Νέων, Φίλε Η τελευταία προσπάθεια της Apple στον τομέα της τεχνητής νοημοσύνης, που ονομάζεται Apple Intelligence, έχει προκαλέσει σε μεγάλο βαθμό απογοήτευση. Ιδιαίτερα, οι περιλήψεις ειδήσεων της έχουν προκαλέσει σημαντική αντίθεση λόγω κακής διαχείρισης τίτλων και παροχής ανακριβών πληροφοριών, αναγκάζοντας την Apple να αναστείλει ολόκληρο το πρόγραμμα αυτή την εβδομάδα για απαραίτητες διορθώσεις. Τίποτα από αυτά δεν είναι ιδιαίτερα αναμενόμενο. Ζητήματα όπως οι "παραισθήσεις" της τεχνητής νοημοσύνης είναι μια γνωστή πρόκληση για όλα τα μεγάλα γλωσσικά μοντέλα, και παραμένει άλυτο—αν μπορεί να λυθεί καν. Ωστόσο, η κυκλοφορία του μοντέλου τεχνητής νοημοσύνης φαίνεται ιδιαίτερα απερίσκεπτη δεδομένου ότι οι μηχανικοί της Apple είχαν προηγουμένως επισημάνει σοβαρές αδυναμίες στην τεχνολογία. Αυτή η προσοχή είχε διατυπωθεί σε μια μελέτη που δημοσιεύτηκε τον περασμένο Οκτώβριο. Η αδημοσίευτη έρευνα, που εξέτασε τις μαθηματικές ικανότητες "λόγου" μερικών από τα κορυφαία LLM της βιομηχανίας, συνέβαλε στην κατανόηση ότι αυτά τα μοντέλα δεν λογίζονται πραγματικά. "Αντίθετα, " σημείωσαν οι ερευνητές, "προσπαθούν να μιμηθούν τα βήματα σκέψης που βρίσκονται στα δεδομένα εκπαίδευσής τους. " Μαθηματικές Προκλήσεις Για να αξιολογήσουν τα μοντέλα τεχνητής νοημοσύνης, οι ερευνητές τους ανέθεσαν να λύσουν χιλιάδες μαθηματικά προβλήματα από το ευρέως χρησιμοποιούμενο σύνολο δεδομένων GSM8K. Μια απλή ερώτηση μπορεί να είναι: "Ο Τζέιμς αγοράζει 5 πακέτα κρέατος που ζυγίζουν 4 λίβρες το καθένα. Η τιμή του κρέατος είναι $5. 50 ανά λίβρα.

Πόσα ξόδεψε;" Ορισμένες ερωτήσεις ήταν ελαφρώς πιο περίπλοκες, αλλά παραμένουν διαχειρίσιμες για έναν λογικά μορφωμένο μαθητή γυμνασίου. Οι ερευνητές ανέδειξαν τα κενά στα μοντέλα τεχνητής νοημοσύνης με αξιοσημείωτη απλότητα: απλώς άλλαξαν τους αριθμούς στις ερωτήσεις. Αυτή η προσέγγιση μειώνει τη μόλυνση των δεδομένων—σημαίνει ότι οι ΑΙ δεν είχαν συναντήσει αυτά τα συγκεκριμένα προβλήματα πριν στα δεδομένα εκπαίδευσής τους—χωρίς να αυξάνει τη δυσκολία των προβλημάτων. Αυτή η προσαρμογή μόνη της προκάλεσε μια ελαφρά αλλά σημαντική πτώση στην ακρίβεια σε όλα τα 20 δοκιμασμένα LLM. Ωστόσο, όταν οι ερευνητές ενίσχυσαν τη μέθοδό τους αλλάζοντας επίσης ονόματα και εισάγοντας άσχετες λεπτομέρειες—όπως το να προσδιοριστεί ότι μια χούφτα φρούτων ήταν "μικρότερα από το κανονικό"—η πτώση στην απόδοση ήταν, όπως το ανέφεραν οι ερευνητές, "καταστροφική, " φτάνοντας έως το 65 τοις εκατό. Η απόδοση ποίκιλε μεταξύ των μοντέλων, αλλά ακόμα και το πιο προηγμένο, το o1-preview της OpenAI, βίωσε πτώση 17. 5 τοις εκατό, ενώ ο προκάτοχός του GPT-4o υπέστη πτώση 32 τοις εκατό. Μαθαίνοντας από τα Μοτίβα Οι συνέπειες είναι σοβαρές. "Αυτό εκθέτει μια κρίσιμη αδυναμία στην ικανότητα των μοντέλων να αναγνωρίζουν σχετικές πληροφορίες για την επίλυση προβλημάτων, πιθανώς επειδή η σκέψη τους δεν είναι δομημένη με παραδοσιακό τρόπο, αλλά κυρίως στηρίζεται στην αναγνώριση προτύπων, " υποστήριξαν οι ερευνητές. Με απλά λόγια, η τεχνητή νοημοσύνη διαπρέπει στην αίσθηση της εξυπνάδας και συχνά παρέχει σωστές απαντήσεις!Ωστόσο, μόλις αδυνατεί να αναπαράγει συγκεκριμένα δεδομένα, εμφανίζει σημαντικές αποτυχίες. Θα νόμιζες ότι αυτά τα ευρήματα θα εγείρουν σημαντικές αμφιβολίες για την αξιοπιστία ενός μοντέλου τεχνητής νοημοσύνης να δημιουργεί τίτλους—αναδιάταξη λέξεων χωρίς πραγματικά να κατανοεί πώς αυτό αλλάζει το συνολικό μήνυμα—ωστόσο αυτό δεν φαίνεται να ισχύει. Η Apple ήταν ενήμερη για τα κρίσιμα ζητήματα που επιμένουν σε κάθε LLM και λάνσαρε το μοντέλο της παρ' όλα αυτά. Πρέπει να είμαστε δίκαιοι: αυτή έχει γίνει η τυπική πρακτική στη βιομηχανία της τεχνητής νοημοσύνης. Περισσότερα για την Τεχνητή Νοημοσύνη: Ανατριχιαστική νέα startup αναπτύσσει πράκτορες τεχνητής νοημοσύνης για να πλημμυρίσει το Reddit με προωθητικές αναρτήσεις για προϊόντα πελατών.