I rapidi progressi nell'intelligenza artificiale (IA) hanno svelato nuove possibilità, in particolare nei modelli di ragionamento basati sul calcolo in fase di inferenza, portando a discussioni sul potenziale dell'intelligenza generale artificiale (AGI). Il CEO di OpenAI, Sam Altman, e il CEO di Anthropic, Dario Amodei, mettono entrambi in evidenza la prospettiva di raggiungere un'IA a livello umano nei prossimi anni. Tuttavia, i sistemi IA attuali mancano di una capacità critica: la capacità di apprendere continuamente dopo il training. L'IA di oggi opera in due fasi: addestramento e inferenza. Dopo la fase di addestramento, la conoscenza del modello diventa statica e non può adattarsi o apprendere da nuovi dati durante l'inferenza. Per aggiornare la propria conoscenza, il modello richiede tipicamente un ampio riaddestramento, che è intensivo in termini di risorse e poco pratico. Questa limitazione impedisce all'IA di raggiungere un miglioramento continuo come l'intelligenza umana, che apprende e si adatta in tempo reale. Esistono diversi metodi alternativi, come il fine-tuning dei modelli, la generazione aumentata da recupero (RAG) e l'apprendimento in contesto, ma nessuno raggiunge un vero apprendimento continuo.

Questi approcci sono limitati da problemi di scalabilità, dalla necessità di una distribuzione dei dati coincidente e dalla natura effimera dell'apprendimento in contesto. La promessa dell'apprendimento continuo risiede nella sua capacità di creare applicazioni IA personalizzate che si adattano nel tempo, migliorando l'engagement degli utenti e creando vantaggi competitivi o "fossati" per le aziende IA. A differenza della natura statica dei modelli attuali, l'apprendimento continuo consentirebbe ai sistemi IA di evolversi in base alle interazioni in corso, rendendoli più adatti ai singoli utenti. Nonostante il potenziale trasformativo, l'apprendimento continuo affronta sfide, in particolare l'oblio catastrofico, in cui il nuovo apprendimento degrada la conoscenza precedente. Le soluzioni nei metodi esistenti—come le tecniche basate sul replay, la regolarizzazione e gli approcci architettonici—hanno le loro limitazioni, in particolare riguardo alla scalabilità e all'adattabilità a nuovi ambienti. Recenti innovazioni nell'apprendimento continuo sono emerse, in particolare da startup come Writer e Sakana. I modelli auto-evolutivi di Writer si adattano in tempo reale immagazzinando intuizioni in un pool di memoria a breve termine all'interno dei livelli del modello, mentre il Transformer² di Sakana consente aggiustamenti dinamici dei pesi del modello in base al contesto del compito, evidenziando uno spostamento verso sistemi IA più adattabili. In conclusione, con il progresso della ricerca nell'apprendimento continuo, la capacità dell'IA di apprendere e adattarsi durante il suo ciclo operativo presenta un enorme potenziale. Questa evoluzione trasformerà le percezioni dell'IA e ridefinirà le possibilità nel campo, creando nuove vie per l'adattabilità e il vantaggio competitivo.