Kemajuan pesat dalam kecerdasan buatan (AI) telah membuka kemungkinan baru, terutamanya dalam model pemikiran berdasarkan pengiraan waktu inferens, yang membawa kepada perbincangan mengenai potensi kecerdasan umum buatan (AGI). CEO OpenAI, Sam Altman dan CEO Anthropic, Dario Amodei, kedua-duanya menekankan prospek mencapai AI pada tahap manusia dalam beberapa tahun akan datang. Walau bagaimanapun, sistem AI semasa kekurangan kemampuan kritikal: kemampuan untuk belajar secara berterusan selepas latihan. AI hari ini berfungsi dalam dua fasa—latihan dan inferens. Selepas fasa latihan, pengetahuan model menjadi statik, dan ia tidak boleh menyesuaikan diri atau belajar daripada data baru semasa inferens. Untuk mengemas kini pengetahuannya, model biasanya memerlukan latihan semula yang luas, yang memerlukan sumber yang banyak dan tidak praktikal. Keterbatasan ini menghalang AI untuk mencapai peningkatan berterusan seperti kecerdasan manusia, yang belajar dan menyesuaikan diri dalam masa nyata. Terdapat beberapa penyelesaian alternatif, seperti penalaan model, penghasilan tambahan dengan pengambilan (RAG), dan pembelajaran dalam konteks, tetapi tiada satu pun yang mencapai pembelajaran berterusan yang sebenar.

Pendekatan-pendekatan ini terhad oleh isu pengimbangan skala, keperluan untuk pengedaran data yang sepadan, dan sifat sementara pembelajaran dalam konteks. Janji pembelajaran berterusan terletak pada kemampuannya untuk mencipta aplikasi AI yang dipersonalisasi yang menyesuaikan diri dari semasa ke semasa, meningkatkan penglibatan pengguna dan mencipta kelebihan kompetitif atau "parit" untuk syarikat AI. Berbanding dengan sifat statik model-model semasa, pembelajaran berterusan akan membolehkan sistem AI berkembang berdasarkan interaksi yang berterusan, menjadikannya lebih sesuai untuk pengguna individu. Walaupun potensi transformasinya, pembelajaran berterusan menghadapi cabaran, terutamanya kefahaman yang bencana, di mana pembelajaran baru merosakkan pengetahuan sebelumnya. Penyelesaian dalam kaedah sedia ada—seperti teknik berasaskan replay, regularisasi, dan pendekatan seni bina—mempunyai batasan, terutamanya berkaitan dengan pengimbangan skala dan kebolehsuaian kepada persekitaran baru. Inovasi terkini dalam pembelajaran berterusan telah muncul, terutamanya daripada permulaan seperti Writer dan Sakana. Model-model yang berkembang sendiri dari Writer menyesuaikan diri dalam masa nyata dengan menyimpan wawasan dalam kolam memori jangka pendek dalam lapisan model, manakala Transformer² dari Sakana membolehkan penyesuaian dinamik berat model berdasarkan konteks tugas, menyoroti peralihan ke arah sistem AI yang lebih boleh disesuaikan. Kesimpulannya, dengan kemajuan penyelidikan dalam pembelajaran berterusan, kemampuan AI untuk belajar dan menyesuaikan diri sepanjang hayat operasinya mempunyai potensi yang sangat besar. Evolusi ini akan mengubah persepsi terhadap AI dan mendefinisikan semula kemungkinan dalam bidang ini, mencipta ruang baru untuk kebolehsuaian dan kelebihan kompetitif.