Мэдээний шинэчлэлт, Найз Apple компани ШУТ-д шинэ дэвшил болох Apple Intelligence-ийг гаргасан ч тэр нь ихэнхдээ тааруу байна. Ялангуяа түүний мэдээний хураангуй мэдээллүүд гарч ирэхэд гаргаж байгаа гарчиг, мэдээллийн алдаатай байсан тул ихэнхдээ дургүйцэл үүсгэж, Apple компанид програмыг засварлах шаардлагатай болсон тул энэ долоо хоногт зогсоосон. Эдгээр асуудлыг сонсох боломжтой гэж хэлэхэд хачин санагдахгүй. AI "валсан" гэх мэт асуудлууд нь бүх том хэлний загваруудын хувьд жолоодохоос арилгахгүй асуудал бөгөөд энэ нь шийдэгдээгүй хэвээр байгаа—үнийг шийдэх боломжтой эсэх нь тодорхойгүй. Гэхдээ Apple инженерүүд технологийн ноцтой дутагдлуудыг өмнө нь ил хэлсэн тул AI моделио гаргах нь хэтэрхий аюултай харагдаж байна. Энэхүү болгоомжлолыг өнгөрсөн жилийн аравдугаар сард гаргасан судалгаагаар тодорхойлсон. Тухайн үед хэвлэгдээгүй судалгаа нь зарим тэргүүлэгч үйлдвэрлэлийн LLM-үүдийн математик "дүгнэлт" боломжуудыг судалж, эдгээр загварууд үнэхээр дүгнэлт хийх чадвартай биш гэж ойлголт өгчээ. "Орлуулахын оронд, " судлаачид дурдахдаа, "тэд өөрсдийн сургалтын өгөгдөлд байгаа дүгнэлтийн алхмуудыг дагаж мөрдөхийг хичээдэг. " Математикийн сорилтууд AI загваруудыг үнэлэхийн тулд судлаачид тэдэнд GSM8K стандарт өгөгдлийн сангаас мянган математик асуудлуудыг шийдэх даалгавар өгсөн. Энгийн асуулт нь: "Жеймс 4 фунт жинтэй 5 багц мах худалдаж авна.

Махны үнэ фунт тутамд $5. 50 байна. Тэр хэр Much зарцуулав?" Зарим асуулт нь бага зэрэг нарийн боловч дунд Surag бидний төлөвлөсний дагуу шийдвэрлэхэд хялбар байгаа. Судлаачид LLM-үүдийн доторхи алдаануудыг гайхмаар хялбараар тодорхойлсон: тэд зөвхөн асуултуудад байгаа тоо, datos-г өөрчилж, боловсруулж байсан. Энэ арга нь өгөгдлийн бохирдлыг бууруулдаг, учир нь AI-ууд уг өгөгдөлд өмнө нь ийм асуудлуудтай нүүр тулсангүй—гэхдээ асуудлуудын хүндийг нэмдэггүй. Энэ зохицуулалт нь бүх 20 LLM-д нарийн ч гэсэн чухал алдааны уналтыг үүсгэжээ. Гэсэн хэдий ч судлаачид арга барилаа дээшлүүлж, нэрийг өөрчилж, холбогдолгүй мэдээлэл оруулснаар—жишээлбэл, жимсний бүлэг нь "эрүүлжээгүй" гэж тодорхойлсон—гүйлгээний уналт "бохирдол" гэж нэрлэгдэж 65 хувь хүртэл хүрчээ. Загваруудын дунд гүйцэтгэл янз бүр байсан боловч хамгийн дэвшилтэт OpenAI-ийн о1-preview загвар 17. 5 хувиар унаж, өмнөх GPT-4o 32 хувиар унасан. Дүгнэлт хийхээс суралцах Дүгнэлт нь тодорхой байна. "Энэ нь загваруудын асуудлыг шийдэхэд шаардлагатай холбогдох мэдээллийг тодорхойлоход ноцтой дутагдал илрүүлж байна, магадгүй тэдний дүгнэлт нь уламжлалт хэлбэрээр бүтэцгүй, харин голдуу загваруудыг таньж, тогтооход оршдог, " судлаачид дэмжжээ. Хялбар үгээр хэлбэл, AI ухаалаг мэт санагдаж, ихэнхдээ зөв хариултыг өгдөг!Гэвч тодорхой өгөгдлийг давтах аргагүй болохоор эрсдэлд орж, ихтэй. Ийм дүгнэлтүүд нь AI загварыг гарчиг үүсгэхэд итгэн дагуулахад харамсалтайгаар байсан ч Apple компани LLM-ын өмнөх тохируулах асуудлыг мэдэж байсан ч загварыг гаргажээ. Эдгээр асуудлууд нь AI үйлдвэрлэлийн стандарт практик болж байна. AI-д илүү: Тухайн шинэ старт-ап AI агентуудыг хэрэглэгчдийн бүтээгдэхүүний төлөө Reddit-ийг сурталчлах постуудаар дүүргэхийн тулд ажиллаж байна.