Hvad deler alle intelligente væsener?Ifølge Yann LeCun, Metas chef for AI, er der fire nøgletræk. På AI Action Summit i Paris tidligere på året samledes politiske ledere og AI-eksperter for at diskutere AI-udvikling. Under arrangementet formidlede LeCun sin grundlæggende definition af intelligens til IBMs AI-leder, Anthony Annunziata. “Der er fire væsentlige egenskaber ved intelligent adfærd, som alle dyr—eller relativt kloge dyr—og bestemt mennesker besidder, ” forklarede han. “Det er forståelse af den fysiske verden, at have vedvarende erindring, evnen til at ræsonnere, og evnen til at planlægge, især komplekse handlinger gennem hierarkisk planlægning. ” LeCun påpegede, at AI, især store sprogmodeller, endnu ikke har nået dette niveau, og at integrationen af disse evner vil kræve en ændring i deres træningsmetoder. Det forklarer, hvorfor mange førende teknologivirksomheder i øjeblikket tilføjer nye kapaciteter til eksisterende modeller, mens de kæmper om at lede AI-feltet. “Til forståelse af den fysiske verden træner man et adskilt vision-system og tilknytter det derefter til den store sprogmodel. Til erindring bruger man retrieval augmented generation (RAG), tilføjer noget associerende hukommelse eller blot skalerer op modellen, ” sagde han.

(RAG er en teknik udviklet hos Meta for at forbedre store sprogmodeller ved at inddrage eksterne vidensressourcer. ) Ikke desto mindre betragter LeCun alle disse indsatser som blot “hacks. ” Han har gentagne gange diskuteret en alternativ tilgang kaldet verdensbaserede modeller, som trænes på scenarier fra den virkelige verden og udviser højere kognitive evner ud over blot mønstergenkendelse. I sin samtale med Annunziata uddybbede han dette koncept. “Du starter med en idé om verdens tilstand ved et bestemt tidspunkt T, forestiller dig en handling, og derefter forudsiger verdensmodellens, hvordan verdens tilstand vil ændre sig som respons på den handling, ” forklarede han. Men da verden udvikler sig gennem utallige uforudsigelige muligheder, er den eneste realistiske måde at træne sådanne modeller på gennem abstraktion. Meta undersøger allerede dette koncept med V-JEPA, en model offentliggjort i februar. Den beskrives som en ikke-generativ model, der lærer ved at forudsige manglende eller maskerede segmenter i videoer. “Kernen i det er, at du ikke direkte forudsiger på pixelniveau. I stedet træner du et system til at operere på en abstrakt repræsentation af videoen, hvilket tillader det at lave forudsigelser inden for den abstraction. Ideelt set filtrerer denne repræsentation ud af uforudsigelige detaljer, ” sagde LeCun. Denne tilgang efterligner, hvordan kemikere etablerede en fundamental hierarki for stoffets byggesten. “Vi skabte abstraktioner: partikler, ovenpå hvilke der er atomer, så molekyler, og til sidst materialer, ” sagde han. “Hver lag filtrerer stort set irrelevant information væk fra de lavere lag, afhængigt af opgaven. ” I bund og grund betyder dette, at vi forstår den fysiske verden ved at konstruere hierarkier, hvilket er fundamentalt for intelligens.