Appleova AI lansiranja suočava se s kritikama zbog problema s tačnošću.
Brief news summary
Apple je odlučio obustaviti svoju AI inicijativu, Apple Intelligence, kao odgovor na kritike vezane za netačne sažetke vesti i obmanjujuće naslove. Ova odluka ističe stalne izazove povezane sa velikim jezičkim modelima (LLM), koji često generišu "halucinacije" ili netačne informacije. I pored toga što su inženjeri identifikovali ove probleme, Apple je nastavio sa razvojem AI-a sve do nedavno. Nedavna istraživanja su otkrila značajne prepreke za AI modele, posebno u matematičkom rezonovanju, gde njihova zavisnost od prepoznavanja obrazaca ometa prave sposobnosti rešavanja problema. Naime, testovi korišćenjem GSM8K referentnog matematickog skupa podataka su pokazali zabrinjavajući pad tačnosti od 65% uz manje promene varijabli. Ova saznanja sugerišu da, iako AI sistemi mogu delovati sposobno, često se suočavaju sa problemima van svojih konteksta obuke, što izaziva zabrinutost u vezi sa njihovom pouzdanošću u generisanju vesti. Appleov izbor da nastavi sa naporima u AI uprkos ovim ograničenjima odražava širi trend u industriji, gde kompanije često usvajaju nepouzdane tehnologije bez adekvatnog rešavanja osnovnih problema, što dovodi do šire zabrinutosti o pouzdanosti AI aplikacija.I otišli su dalje i objavili to ionako. Ažuriranje vijesti, prijatelju Novi Appleov poduhvat u AI, nazvan Apple Intelligence, bio je u velikoj mjeri razočaravajući. Njegov sažetak vijesti, posebno, izazvao je značajnu opoziciju zbog lošeg upravljanja naslovima i pružanja netačnih informacija, što je navelo Apple da ove sedmice obustavi cijeli program za potrebne ispravke. Niče od ovoga nije posebno iznenađujuće. Problemi poput "halucinacija" u AI su poznati izazov za sve velike jezičke modele, i ostaje nerešen—ako uopšte može biti rešen. Ipak, lansiranje svog AI modela izgleda posebno nepromišljeno s obzirom da su inženjeri Apple-a prethodno istakli ozbiljne greške u tehnologiji. Ova opreznost je izražena u studiji objavljenoj prošlog oktobra. Istraživanje koje još nije objavljeno, a koje je ispitalo matematičke "razumne" sposobnosti nekih vodećih industrijskih LLM-ova, doprinelo je razumevanju da ovi modeli zapravo ne razmišljaju. "Umesto toga, " su naveli istraživači, "trude se da oponašaju korake rasuđivanja prisutne u njihovim podacima za obuku. " Matematički izazovi Da bi procenili AI modele, istraživači su ih zadali da reše hiljade matematičkih problema iz uobičajene GSM8K benchmark baze podataka. Jednostavno pitanje bi moglo biti: "James kupuje 5 paketa goveđeg mesa koje teži po 4 funte. Cena goveđeg mesa je 5, 50 dolara po funti.
Koliko je potrošio?" Neka pitanja su bila malo složenija, ali još uvek upravljiva za razmerno obrazovanog srednjoškolca. Istraživači su istakli praznine u AI modelima sa izvanrednom jednostavnošću: samo su promenili brojeve u pitanjima. Ovaj pristup smanjuje kontaminaciju podacima—što znači da AIs nisu ranije naišli na ove specifične probleme u svojim podacima za obuku—dok se ne povećava težina problema. Ova ispravka sama po sebi izazvala je blagi, ali značajan pad tačnosti među svih 20 testiranih LLM-ova. Međutim, kada su istraživači pojačali svoju metodu tako što su promenili imena i uveli irelevantne detalje—poput preciziranja da su neki plodovi "manji nego obično"—pad u performansama bio je, kako su istraživači to nazvali, "katastrofalan, " dostigavši čak 65 procenata. Performanse su varirale među modelima, ali čak je i najnapredniji, OpenAI-ov o1-preview, doživeo pad od 17, 5 procenata, dok je njegov prethodnik GPT-4o imao pad od 32 procenta. Učenje iz obrazaca Implikacije su drastične. "Ovo otkriva ključnu manu u kapacitetu modela da identifikuju relevantne informacije za rešavanje problema, verovatno zato što njihovo rasuđivanje nije formalno strukturirano u tradicionalnom smislu, već se prvenstveno oslanja na prepoznavanje obrazaca, " istakli su istraživači. U jednostavnijim terminima, AI briljira u izgledanju inteligentno i često pruža tačne odgovore!Međutim, kada ne može replicirati specifične podatke, značajno se sapliće. Pomislili biste da bi ovakvi nalazi izazvali značajne sumnje u oslanjanje na AI model za generisanje naslova—preuređivanje reči bez pravog razumevanja kako to menja ukupnu poruku—ali to se čini da nije slučaj. Apple je bio svestan kritičnih problema koji su postojali u svakom LLM-u i pokrenuo je svoj model bez obzira na to. Da budemo pošteni, ovo je postala standardna praksa u AI industriji. Više o AI: Uzrujavajući novi startap koristi AI agente za preplavljivanje Reddita promotivnim postovima za proizvode klijenata.
Watch video about
Appleova AI lansiranja suočava se s kritikama zbog problema s tačnošću.
Try our premium solution and start getting clients — at no cost to you
