Hva deler alle intelligente vesener?Ifølge Yann LeCun, Metas sjef for kunstig intelligens, finnes det fire viktige egenskaper. På AI Action Summit i Paris tidligere i år samlet politiske ledere og AI-eksperter seg for å diskutere AI-utvikling. Under arrangementet formidlet LeCun sin grunnleggende definisjon av intelligens til IBMs AI-leder, Anthony Annunziata. «Det finnes fire vesentlige kjennetegn ved intelligent atferd som hvert dyr – eller relativt smart dyr – og definitivt mennesker har, » forklarte han. «Disse er å forstå den fysiske verden, ha vedvarende minne, evnen til å resonnere, og evnen til å planlegge, spesielt komplekse handlinger gjennom hierarkisk planlegging. » LeCun påpekte at AI, spesielt store språkmodeller, ennå ikke har nådd dette nivået, og at integrering av disse evnene vil kreve en endring i treningsmetodene deres. Dette forklarer hvorfor mange ledende teknologiselskaper for øyeblikket legger til nye evner på eksisterende modeller i konkurransen om å lede AI-feltet. «For å forstå den fysiske verden trener du et eget synssystem, og deretter kobler du det til den store språkmodellen. For minne bruker du retrieval augmented generation (RAG), legger til noe assosiativt minne, eller bare skalerer opp modellen, » sa han.

(RAG er en teknikk utviklet hos Meta for å forbedre store språkmodeller ved å innlemme eksterne kunnskapskilder. ) Likevel anser LeCun alle disse innsatsene for å være rene «hacks». Han har gjentatte ganger diskutert en alternativ tilnærming kalt verdensbaserte modeller, som trenes på virkelige scenarier og viser høyere kognitive evner utover enkel mønstergjenkjenning. I sin samtale med Annunziata utdypet han dette konseptet. «Du starter med en idé om verdens tilstand på et bestemt tidspunkt T, forestiller deg en handling, og deretter forutsier verdens modell hvordan verdens tilstand vil endre seg som svar på den handlingen, » forklarte han. Men siden verden utvikler seg gjennom utallige uforutsigbare muligheter, er den eneste overkommelige måten å trene slike modeller på gjennom abstraksjon. Meta utforsker allerede dette konseptet med V-JEPA, en modell som ble offentliggjort i februar. Den beskrives som en ikke-generativ modell som lærer ved å forutsi manglende eller maskerede segmenter i videoer. «Hovedideen er at du ikke forutsier direkte på pikselnivå. I stedet trener du et system til å operere på en abstrakt representasjon av videoen, slik at det kan gjøre forutsigelser innenfor den abstraksjonen. Ideelt sett filtrerer denne representasjonen ut uforutsigbare detaljer, » sa LeCun. Denne tilnærmingen speiler hvordan kjemikere etablerte en grunnleggende hierarki for materiens byggesteiner. «Vi skapte abstraksjoner: partikler, som over disse er atomer, så molekyler, og til slutt materialer, » sa han. «Hver lag øverst filtrerer ut mye irrelevant informasjon fra de lavere lagene, avhengig av oppgaven. » I bunn og grunn betyr dette at vi forstår den fysiske verden ved å konstruere hierarkier, noe som er fundamentalt for intelligens.