Rychlý pokrok v oblasti umělé inteligence (AI) odhalil nové možnosti, zejména v oblasti modelů rozumnění založených na výpočtech v čase inference, což vedlo k diskuzím o potenciálu pro umělou obecnou inteligenci (AGI). Generální ředitel OpenAI Sam Altman a generální ředitel Anthropic Dario Amodei oba zdůrazňují perspektivu dosažení AI na úrovni člověka v následujících několika letech. Současné systémy AI však postrádají zásadní schopnost: schopnost neustále se učit po trénování. Dnešní AI funguje ve dvou fázích - tréninkové a inference. Po tréninkové fázi se znalosti modelu stávají statickými, a model se nemůže přizpůsobit nebo učit z nových dat během inference. K aktualizaci svých znalostí model obvykle vyžaduje rozsáhlé opětovné trénování, což je náročné na zdroje a nepraktické. Tento limit brání AI v dosažení neustálého zlepšování, jak to dělá lidská inteligence, která se učí a přizpůsobuje se v reálném čase. Existuje několik obchvatů, jako je doladění modelu, generování posílené o vyhledávání (RAG) a učení v kontextu, ale žádný z nich nedosahuje skutečného kontinuálního učení.

Tyto přístupy jsou omezeny problémy se škálovatelností, nezbytností shodné distribuce dat a efemérní povahou učení v kontextu. Potenciál kontinuálního učení spočívá v jeho schopnosti vytvářet personalizované aplikace AI, které se časem přizpůsobují, což zvyšuje angažovanost uživatelů a vytváří konkurenční výhody nebo "příkopy" pro AI společnosti. Na rozdíl od statické povahy současných modelů by kontinuální učení umožnilo AI systémům vyvíjet se na základě probíhajících interakcí, což je činí více přizpůsobenými jednotlivým uživatelům. I přes transformační potenciál čelí kontinuální učení výzvám, zejména katastrofickému zapomnění, kdy nové učení degraduje předchozí znalosti. Řešení ve stávajících metodách – jako jsou techniky na základě replay, regularizace a architektonické přístupy – mají svá omezení, zejména pokud jde o škálovatelnost a přizpůsobivost novým prostředím. V poslední době vzešly inovace v oblasti kontinuálního učení, zejména od start-upů, jako jsou Writer a Sakana. Modely Writer, které se samy vyvíjejí, se přizpůsobují v reálném čase tím, že ukládají poznatky do krátkodobé paměti v rámci vrstev modelu, zatímco Transformer² od Sakana umožňuje dynamické úpravy vah modelu na základě kontextu úkolu, což ukazuje na posun směrem k přizpůsobivějším systémům AI. Závěrem, jak výzkum v oblasti kontinuálního učení postupuje, schopnost AI učit se a přizpůsobovat se po celou dobu své provozní životnosti drží obrovský potenciál. Tato evoluce přetvoří vnímání AI a redefinuje možnosti v této oblasti, vytvářející nové cesty pro přizpůsobivost a konkurenční výhodu.