Μια μελέτη σε προηγμένες εκδόσεις τριών δημοφιλών AI chatbots αποκαλύπτει ότι τείνουν να παράγουν λανθασμένες απαντήσεις πιο συχνά από ό, τι παραδέχονται όταν δεν γνωρίζουν κάτι. Η έρευνα, υπό την καθοδήγηση του José Hernández-Orallo από το Valencian Research Institute for Artificial Intelligence, ανέλυσε τα λάθη μεγάλων μοντέλων γλώσσας (LLMs), παρατηρώντας ότι ενώ η ακρίβεια βελτιώνεται με το μέγεθος και την τελειοποίηση του μοντέλου, ο ρυθμός λανθασμένων απαντήσεων έχει επίσης αυξηθεί. Αντί να επιλέγουν να αρνηθούν δύσκολες ερωτήσεις, αυτά τα μοντέλα συχνά παρέχουν απαντήσεις, οδηγώντας σε αύξηση παραπλανητικών απαντήσεων. Ο Hernández-Orallo παρατηρεί ότι τα chatbots γίνονται πιο επιδέξια στο να μιμούνται τη γνώση χωρίς πραγματική κατανόηση, ένα φαινόμενο που περιγράφεται ως 'ultracrepidarianism'. Αυτό μπορεί να οδηγήσει τους χρήστες να υπερτιμούν τις ικανότητες των chatbots, κάτι που ενέχει κινδύνους. Η ομάδα εξέτασε μοντέλα όπως το GPT της OpenAI, το LLaMA της Meta και το BLOOM ανοιχτού κώδικα, αξιολογώντας την ακρίβειά τους σε διάφορους τύπους ερωτήσεων.

Διαπίστωσαν ότι ακόμα και με βελτιωμένα μοντέλα, πάνω από το 60% των απαντήσεών τους ήταν λανθασμένες ή μη επαρκείς. Επιπλέον, οι ανθρώπινοι εθελοντές συχνά κατηγοριοποίησαν λανθασμένα τις λανθασμένες απαντήσεις ως σωστές, δείχνοντας έλλειψη ικανότητας να επιβλέπουν αποτελεσματικά τα μοντέλα. Για να βελτιωθεί η κατανόηση των χρηστών, ο Hernández-Orallo προτείνει ότι οι προγραμματιστές πρέπει να βελτιώσουν την απόδοση σε απλές ερωτήσεις και να εκπαιδεύσουν τα chatbots να αποφεύγουν την απάντηση σε δύσκολες. Αυτό θα βοηθούσε τους χρήστες να καταλάβουν πού η AI είναι αξιόπιστη και πού όχι. Αν και κάποια chatbots μπορούν να αναγνωρίσουν την έλλειψη γνώσης τους, η πίεση για τα μοντέλα να αντιμετωπίσουν δύσκολες ερωτήσεις παραμένει σημαντική, ειδικά για εκείνα που διαφημίζονται ως γενικής χρήσης.