Ja nad läksid ikkagi edasi ja vabastasid selle. Uudiste värskendus, sõber Apple'i viimane seiklus tehisintellekti vallas, nimega Apple Intelligence, on olnud peamiselt pettumust valmistav. Eriti on tema uudiste kokkuvõtted saanud märkimisväärset kriitikat pealkirjade valesti käsitlemise ja ebatäpsete andmete esitamise tõttu, sundides Apple'it kogu programmi sel nädalal peatama vajalike paranduste tegemiseks. Midagi siin ei ole eriti üllatav. Probleemid nagu AI "hallutsinatsioonid" on tuntud väljakutse kõikide suurte keelemudelite jaoks ning see probleem jääb lahendamata - kui seda üldse saab lahendada. Siiski näib AI mudeli lansseerimine olevat eriti hoolimatu, arvestades, et Apple'i insenerid olid eelnevalt välja toonud tehnoloogia tõsised puudused. See ettevaatus oli väljendatud uuringus, mis avaldati eelmisel oktoobril. Endiselt avaldamata uurimus, mis uuris mõnede juhtivate tööstuse LLM-ide matemaatilisi "järeldus" võimeid, aitas mõista, et need mudelid ei mõtle tõeliselt. "Vastupidi, " märkisid teadlased, "püüavad nad järeldusprotsesse, mis esinevad nende koolitusandmetes, jäljendada. " Matemaatika väljakutsed Tehisintellekti mudelite hindamiseks palusid teadlased neil lahendada tuhandeid matemaatika probleeme laialdaselt kasutatavas GSM8K standardkomplekti andmestikus. Lihtne küsimus võiks olla: "James ostab 5 pakki veiseliha, mis kaalub 4 naela igaüks. Veiseliha hind on 5, 50 dollarit naela kohta.

Kui palju raha ta kulutas?" Mõned küsimused olid veidi keerukamad, kuid siiski haldavad arvestatava haridustasemega põhikooliõpilase jaoks. Teadlased tõid esile AI mudelite puudujäägid tähelepanuväärse lihtsuse kaudu: nad muutsid lihtsalt küsimustes numbreid. See lähenemine vähendab andmete saastumise riski - see tähendab, et AI-d ei olnud selliste spetsiifiliste probleemidega varem koolitusandmetes kokku puutunud - samas mitte suurendades probleemide raskust. See kohandamine üksi põhjustas kergelt, kuid märkimisväärselt täpsuse languse kõigi 20 testitud LLM-i puhul. Kuid kui teadlased oma meetodit tõhustasid, muutes ka nimesid ja lisades ebaolulisi üksikasju - nagu täpsustamine, et käputäis puuvilju oli "tavapärasest väiksem" - oli tulemus langus, mis teadlaste sõnul oli "katastroofiline", ulatudes koguni 65 protsendini. Tulemused erinevad mudelite vahel, kuid isegi kõige arenenum, OpenAI o1-preview, koges 17, 5 protsendilist langust, samas kui tema eelkäija GPT-4o langes 32 protsenti. Musterteadmise õppimine Tagajärjed on selged. "See paljastab olulise puuduse mudelite võimes tuvastada asjakohast teavet probleemide lahendamiseks, tõenäoliselt seetõttu, et nende järeldamine pole formaalselt struktureeritud traditsioonilises mõttes, vaid põhineb peamiselt mustritunnustamisel, " väitsid teadlased. Lihtsamalt öeldes, AI paistab olevat intelligentne ja sageli annab õigeid vastuseid!Kuid kui tal ei õnnestu reprodutseerida spetsiifilisi andmeid, eksib ta oluliselt. Võiksite arvata, et sellised leiud peaksid tekitama tõsiseid kahtlusi AI mudeli usaldusväärsuses pealkirjade genereerimisel - sõnade ümberkorraldamisel, ilma et tõeliselt mõistetaks, kuidas see tervikukurssi muudab - kuid tundub, et see nii ei ole. Apple oli teadlik kriitilistest probleemidest, mis on püsivalt olnud kõikide LLM-ide puhul, ja käivitas oma mudeli hoolimata sellest. Tõsi, see on muutunud standardpraktikaks kogu AI tööstuses. Rohkem AI-st: Häiriv uus idufirma kasutab AI agente, et uputada Reddit reklaampostitustega klientide toodete jaoks.