I van avançar i ho van publicar de totes maneres. Actualització de Notícies, Amic L'última aventura d'Apple en la IA, anomenada Apple Intelligence, ha estat en gran mesura decebedora. Els seus resums de notícies, en particular, han rebut un important backlash per la mala gestió dels titulars i per proporcionar informació inexacta, cosa que ha comportat que Apple aturés tot el programa aquesta setmana per fer les correccions necessàries. Res d'això és particularment sorprenent. Els problemes com les "al·lucinacions" de la IA són un repte conegut per a tots els grans models de llenguatge, i segueix sense resoldre's, si és que es pot resoldre. No obstant això, llançar el seu model d'IA sembla especialment imprudent tenint en compte que els enginyers d'Apple havien assenyalat anteriorment defectes greus en la tecnologia. Aquesta precaució es va articular en un estudi publicat l'octubre passat. La investigació, que encara no s'ha publicat i que va examinar les capacitats de "raonament" matemàtic d'alguns dels principals LLM de la indústria, va contribuir a comprendre que aquests models no raonen de manera genuïna. "En canvi, " van assenyalar els investigadors, "busquen emular els passos de raonament que es troben en les seves dades d'entrenament. " Reptes Matemàtics Per avaluar els models d'IA, els investigadors els van encarregar resoldre milers de problemes matemàtics del conjunt de dades de referència GSM8K, d'ús comú. Una pregunta senzilla podria ser: "James compra 5 paquets de carn que pesen 4 lliures cadascun. El preu de la carn és de 5, 50 dòlars per lliura.

Quant va gastar?" Algunes preguntes eren lleugerament més complexes, però encara eren manejables per a un escolar raonablement educat. Els investigadors van ressaltar les llacunes en els models d'IA amb notable simplicitat: simplement van alterar els números a les preguntes. Aquest enfocament mitiga la contaminació de dades, és a dir, les IA no havien trobat aquests problemes específics anteriorment en les seves dades d'entrenament, sense incrementar la dificultat dels problemes. Ajustar només això va provocar una caiguda lleugera però significativa en la precisió de tots els 20 LLM provats. No obstant això, quan els investigadors van augmentar el seu mètode canviant també els noms i introduint detalls irrelevants, com especificar que un bon grapat de fruits eren "més petits del que és habitual", la disminució del rendiment va ser, tal com van dir els investigadors, "catastròfica", arribant fins al 65 per cent. El rendiment va variar entre els models, però fins i tot el més avançat, l'o1-preview d'OpenAI, va experimentar una disminució del 17, 5 per cent, mentre que el seu predecessor GPT-4o va patir una disminució del 32 per cent. Aprendre de Patrons Les implicacions són clares. "Això exposa un defecte crucial en la capacitat dels models per identificar informació pertinent per a la resolució de problemes, probablement perquè el seu raonament no està estructurat formalment en un sentit tradicional, sinó que principalment es basa en el reconeixement de patrons, " van afirmar els investigadors. En termes més simples, la IA és excel·lent a l'hora de semblar intel·ligent i sovint proporciona respostes correctes!No obstant això, un cop no pot replicar dades específiques, falla significativament. Pensa que troballes com aquestes haurien de generar dubtes significatius sobre la confiança en un model d'IA per generar titulars, reorganitzant paraules sense entendre realment com altera el missatge global; no obstant això, no sembla que sigui així. Apple era conscient dels problemes crítics que han persistit en cada LLM i va llançar el seu model independentment. Per ser justos, això s'ha convertit en la pràctica estàndard a la indústria de la IA. Més sobre IA: Una nova startup inquietant desplega agents d'IA per inundar Reddit amb publicacions promocionals dels productes dels seus clients.