კვლევა სამ პოპულარულ ხელოვნური ინტელექტის ჩათბოტის გაუარესებული ვერსიების შესახებ აჩვენებს, რომ ისინი უფრო ხშირად აჩენენ არასწორ პასუხებს, ვიდრე აღიარებენ, როცა არ იციან რაღაც. კვლევა, რომელსაც ხელმძღვანელობს ხოსე ერნანდეს-ორალო ვალენსიის ხელოვნური ინტელექტის კვლევითი ინსტიტუტიდან, ანალიზირებს მოცულობითი ენის მოდელების (LLMs) შეცდომებს, აღნიშნავს, რომ როცა მოდელების რომელიმე ვერსია და დახვეწა ხდება უფრო ზუსტი, არასწორი პასუხების რაოდენობაც იზრდება. ნაცვლად რომ ტოვებენ რთულ კითხვებს, ეს მოდელები ხშირად აჩენენ პასუხებს, რაც იწვევს შეცდომილ ინფორმაციის რაოდენობის გაზრდას. ერნანდეს-ორალო აღნიშნავს, რომ ჩათბოტები უფრო მეტად ქრებიან ცოდნის ნიღბად, რეალური გაგების გარეშე, ეს ფენომენი ცნობილია როგორც "ულტრაკრეპიდარიანიზმი". ეს შეიძლება მომხმარებლებს აწუხებდეს ჩათბოტების შესაძლებლობების ზედმეტად შეფასებაში, რაც რისკებს წარმოადგენს. გუნდი შეისწავლა მოდელები, როგორიცაა OpenAI-ის GPT, Meta-ს LLaMA და ღია კოდის BLOOM, როდესაც შეფასდებდათ მათი პასუხების სიზუსტეზე მრავალი ტიპიური კითხვების შემთხვევაში.

მათ დაადგინეს, რომ გაუმჯობესებული მოდელებიც კი, მათი პასუხების 60%-ზე მეტი არასწორია ან უღირსი. უფრო მეტიც, მოხალისე ადამიანებმა ხშირად არასწორი პასუხები სწორად კლასიფიცირებდენ, რაც აჩვენებს მომხმარებლების ნაკლებად შესაძლებლობას მოდელების ეფექტურად მართვაში. მომხმარებელთა გაგების გასაუმჯობესებლად, ერნანდეს-ორალო გირჩევ რომ დეველოპერებმა გააუმჯობესონ მიმწოდებლობის განმტკიცება მარტივ შეკითხვებზე და განსწავლონ ჩათბოტები, რომ თავი არიდონ რთულ კითხვებზე პასუხების გაცემას. ეს დაეხმარება მომხმარებლებს გაარკვიონ სად არის AI სანდო და სად არა. თუმცა ზოგიერთი ჩათბოტები აღიარებენ თავიანთი ცოდნის ნაკლებობას, მოდელებიდან მომყოფი რთული კითხვების მიდრედენდირების მოთხოვნაც მნიშვნელოვნად რჩება, განსაკუთრებით ისინი მარკეტინგული როგორც ზოგადი დანიშნულების.