He menivät eteenpäin ja julkaisivat sen silti. Uutispäivitys, Ystävä Applen viimeisin siirto AI:hin, nimeltään Apple Intelligence, on ollut suurimmaksi osaksi pettymys. Erityisesti sen uutislyhennykset ovat saaneet merkittävää kritiikkiä huonosta otsikoinnista ja väärän tiedon tarjoamisesta, mikä on saanut Applen laittamaan koko ohjelman tauolle tällä viikolla tarvittavien korjausten vuoksi. Mikään tässä ei ole erityisen yllätyksellistä. Tällaiset AI "hallusinaatiot" ovat tunnettu haaste kaikille suurille kielimalleille, eikä ongelmaa ole vielä ratkaistu—jos se edes on ratkaistavissa. Kuitenkin Applen AI-mallin lanseeraaminen tuntuu erityisen hajanaiselta, kun otetaan huomioon, että Applen insinöörit olivat aiemmin korostaneet teknologian vakavia puutteita. Tämä varovaisuus tuli esiin viime lokakuussa julkaistussa tutkimuksessa. V vielä julkaisemattomassa tutkimuksessa, joka tutkaili joidenkin alan johtavien LLM:ien matemaattista "päättelykykyä", lisättiin ymmärrystä siitä, että nämä mallit eivät oikeasti päättelisi. "Sen sijaan, " tutkijat huomauttivat, "ne pyrkivät jäljittelemään koulutusdatassa löytyviä päättelyvaiheita. " Matemaattiset Haasteet Arvioidakseen AI-malleja tutkijat anoivat niitä ratkaisemaan tuhansia matemaattisia ongelmia yleisesti käytetystä GSM8K-vertailudatasta. Suora kysymys voisi olla: "James ostaa 5 pakettia nautaa, jotka painavat kukin 4 puntaa. Naudan hinta on 5, 50 dollaria per punta.

Kuinka paljon hänellä meni?" Jotkut kysymykset olivat hieman monimutkaisempia, mutta silti kohtuullisesti koulutetun ala-asteikäisen hallittavissa. Tutkijat korostivat AI-mallien puutteita huomattavalla yksinkertaisuudella: he muuttivat vain kysymysten lukuja. Tämä lähestymistapa vähentää datan saastumista—merkiten, ettei AI:it ole aiemmin kohdannut näitä erityisiä ongelmia koulutusdatassaan—ilman että ongelmien vaikeusaste kasvaisi. Pelkästään tämä sä adjustment aiheutti pienen mutta merkittävän tarkkuuden laskun kaikissa 20 testatussa LLM:ssä. Kuitenkin, kun tutkijat nostivat menetelmäänsä myös muuttamalla nimiä ja lisäämällä epäolennaisia yksityiskohtia—kuten määrittelemällä, että kourallinen hedelmiä oli "pienempi kuin tavallisesti"—suorituskyvyn lasku oli, kuten tutkijat totesivat, "katastrofaalinen", saavuttaen jopa 65 prosenttia. Suorituskyky vaihtelee mallien välillä, mutta jopa edistynein, OpenAI:n o1-preview, koki 17, 5 prosentin laskun, kun taas sen edeltäjä GPT-4o kärsi 32 prosentin hyvinvointilaskusta. Oppiminen Kaavoista Seuraamukset ovat jyrkät. "Tämä paljastaa olennaisen puutteen mallien kyvyssä tunnistaa relevanteja tietoja ongelmanratkaisuun, todennäköisesti siksi, että niiden päättely ei ole muodollisesti jäsentynyt perinteisessä mielessä, vaan perustuu ensisijaisesti kaavojen tunnistamiseen, " tutkijat väittivät. Yksinkertaisemmin sanottuna, AI loistaa näyttämään älykkäältä ja tarjoaa usein oikeita vastauksia!Kuitenkin, kun se ei pysty toistamaan erityisiä tietoja, se tahmaantuu merkittävästi. Voisi ajatella, että tällaiset löydökset herättäisivät merkittäviä epäilyksiä luotettaessa AI-malliin otsikoiden luomisessa—sanojen järjesteleminen ilman, että todella ymmärtäisi, kuinka se muuttaa koko viestiä—kuitenkaan näin ei vaikuta olevan. Apple oli tietoinen kriittisistä ongelmista, jotka ovat jatkuneet jokaisessa LLM:ssä, ja lanseerasi sen silti. Olisi reilua todeta, että tämä on tullut standardikäytännöksi koko AI-teollisuudessa. Lisää AI:sta: Hälyttäviä uusia startup-yrityksiä käyttävät AI-agentteja tulvittamaan Redditiä asiakkailleen suosittelevilla viesteillä.