A oni to přesto vydali. Aktualizace zpráv, příteli Nejnovější snaha společnosti Apple v oblasti umělé inteligence, nazvaná Apple Intelligence, byla do značné míry zklamáním. Její shrnutí zpráv, zejména, vyvolala značnou kritiku za špatné zvládání titulků a poskytování nepřesných informací, což vedlo Apple k pozastavení celého programu tento týden kvůli nezbytným opravám. Nic z toho není zvlášť překvapující. Problémy jako "halucinace" AI jsou známou výzvou pro všechny velké jazykové modely, a dosud nebyly vyřešeny – pokud to vůbec lze vyřešit. Přesto se zdá uvedení jejího AI modelu obzvlášť riskantní, vzhledem k tomu, že inženýři Apple dříve poukázali na vážné nedostatky této technologie. Tato opatrnost byla popsána ve studii zveřejněné minulý říjen. Dosud nezveřejněný výzkum, který zkoumal matematické „rozumové“ schopnosti některých předních průmyslových LLM, přispěl k pochopení, že tyto modely skutečně nerozumně uvažují. „Místo toho, “ poznamenali vědci, „se snaží napodobit rozumové kroky nalezené v jejich tréninkových datech. “ Matematické výzvy K hodnocení AI modelů se vědci pokusili o vyřešení tisíců matematických problémů z běžně používané benchmarkové databáze GSM8K. Jednoduchá otázka by mohla být: „James kupuje 5 balíčků hovězího masa, které váží 4 libry každý. Cena hovězího masa je 5, 50 dolaru za libru.

Kolik utratil?“ Některé otázky byly o něco složitější, ale stále zvládnutelné pro rozumně vzdělaného žáka základní školy. Vědci zdůraznili mezery v AI modelech s pozoruhodnou jednoduchostí: pouze změnili čísla v otázkách. Tento přístup zmírňuje kontaminaci dat – což znamená, že AI se s těmito konkrétními problémy ještě nesetkala ve svých tréninkových datech – aniž by zvyšoval obtížnost problémů. Toto úprava sama o sobě způsobila mírný, ale významný pokles přesnosti ve všech 20 testovaných LLM. Nicméně, když vědci svou metodu posunuli tím, že také změnili jména a zaváděli irelevantní detaily – jako že hrstka ovoce byla „menší než obvykle“ – pokles výkonnosti byl, jak vědci uvedli, „katastrofální“, dosahující až 65 procent. Výkon se lišil mezi modely, ale i ten nejpokročilejší, OpenAI o1-preview, zažil pokles o 17, 5 procenta, zatímco jeho předchůdce GPT-4o utrpěl pokles o 32 procent. Učení z vzorů Následky jsou alarmující. „To odhaluje zásadní chybu v kapacitě modelů identifikovat relevantní informace pro řešení problémů, pravděpodobně proto, že jejich uvažování není formálně strukturováno v tradičním smyslu, ale primárně spoléhá na rozpoznávání vzorů, “ uvedli vědci. Jednoduše řečeno, AI exceluje v tom, že se jeví jako inteligentní a často poskytuje správné odpovědi!Avšak jakmile není schopna replikovat specifická data, výrazně selhává. Mysleli byste, že takové zjištění by vyvolalo značné pochybnosti o spolehlivosti AI modelu pro generování titulků – přeuspořádání slov bez skutečného pochopení toho, jak to mění celkové poselství – ale to se zdá být jinak. Apple si byl vědom kritických problémů, které přetrvávaly u každého LLM, a model přesto uvedli na trh. Abychom byli spravedliví, to se stalo standardní praxí v celé oblasti AI. Více o AI: Znepokojující nový startup nasazuje AI agenty, aby zasypali Reddit propagačními příspěvky pro produkty klientů.