Ve yine de bunu piyasaya sürdüler. Haber Güncellemesi, Arkadaşım Apple'ın yapay zeka alanındaki en son girişimi olan Apple Intelligence büyük ölçüde hayal kırıklığına uğrattı. Özellikle haber özetleri, başlıkları yanlış yönetmeleri ve yanlış bilgilendirme yapmaları nedeniyle önemli bir tepkiyle karşılaştı ve bu, Apple'ın bu hafta tüm programı gerekli düzeltmeler için askıya almasına neden oldu. Bunların hiçbiri özellikle sürpriz değil. Yapay zeka "halüsinasyonları" gibi sorunlar, tüm büyük dil modelleri için bilinen bir zorluktur ve hala çözülmedi—ve eğer çözülebilecekse. Ancak, Apple mühendislerinin daha önce teknolojideki ciddi hataları vurgulamış olması göz önüne alındığında, AI modelini piyasaya sürmek özellikle dikkatsiz görünüyor. Bu ihtiyat, geçen Ekim ayında yayımlanan bir çalışmada ifade edildi. Hala yayımlanmamış olan araştırma, bazı önde gelen sektör LLM’lerinin matematiksel "akıl yürütme" yeteneklerini inceleyerek, bu modellerin gerçek anlamda akıl yürütemediği anlayışına katkıda bulundu. "Onlar, " araştırmacılar belirtti, "yetiştirme verilerinde bulunan akıl yürütme adımlarını taklit etmeye çalışıyorlar. " Matematik Zorlukları Yapay zeka modellerini değerlendirmek için araştırmacılar, yaygın olarak kullanılan GSM8K benchmark veri setinden binlerce matematik problemi çözmelerini istedi. Basit bir soru şu olabilir: "James, her biri 4 pound olan 5 paket sığır eti satın alıyor. Sığır etinin fiyatı pound başına 5. 50 dolar.

Ne kadar harcadı?" Bazı sorular biraz daha karmaşık ama yine de makul eğitimli bir ortaokul öğrencisi için yönetilebilir. Araştırmacılar, yapay zeka modellerindeki boşlukları dikkat çekici bir basitlikte vurguladılar: yalnızca sorulardaki sayıları değiştirdiler. Bu yaklaşım, veri kirlenmesini azaltır—yani Aİ'lerin bu spesifik problemleri, eğitim verilerinde daha önce karşılaşmamış olması—ve problemlerin zorluk seviyesini artırmadan yapılır. Bu ayarlama, test edilen 20 LLM’in tamamında hafif ama önemli bir doğruluk düşüşüne neden oldu. Ancak, araştırmacılar adlarını değiştirip alakasız detaylar ekleyerek—örneğin bir avuç meyvenin "alışılmıştan daha küçük" olduğunu belirtmek gibi—yöntemlerini artırdıklarında, performanstaki düşüş, araştırmacıların ifadesiyle "felaket" oldu ve yüzde 65'e kadar çıktı. Modeller arasında performans değişiklikleri olmasına rağmen, en gelişmiş model olan OpenAI'nın o1-preview modeli bile yüzde 17. 5’lik bir düşüş yaşarken, öncüsü GPT-4o yüzde 32’lik bir azalma ile karşılaşmıştı. Desenlerden Öğrenmek Çıkarımlar oldukça çarpıcı. "Bu, modellerin problem çözme için ilgili bilgileri tanımlama kapasitesindeki kritik bir hatayı açığa çıkarıyor; muhtemelen akıl yürütmeleri geleneksel anlamda yapılandırılmadığı için, esasen desen tanımaya dayanıyor, " araştırmacılar savundu. Daha basit bir ifadeyle, AI zeki görünme konusunda başarılıdır ve genellikle doğru cevaplar verir!Ancak, belirli verileri tekrarlamakta başarısız olduğunda, önemli ölçüde sekteye uğrar. Bu tür bulguların, bir yapay zeka modeline başlıklar üretme konusunda güven duymanız gerektiği konusunda önemli şüpheler uyandıracağını düşünürdünüz—kelimeleri yeniden düzenlemek, ancak bunun genel mesajı nasıl değiştirdiğini gerçekten kavramadan—yine de durum böyle görünmüyor. Apple, her LLM'de süregelen kritik sorunların farkındaydı ve modelini buna rağmen piyasaya sürdü. Dürüst olmak gerekirse, bu AI endüstrisi genelinde standart uygulama haline geldi. Yapay Zeka ile ilgili daha fazlası: Rahatsız Edici Yeni Startup, Müşterilerinin Ürünleri için Reddit'i Tanıtım Gönderileriyle Doldurmak Üzere AI Ajanları Kullanıyor.