Naukowcy wskazali, że sztuczna inteligencja (AI) przekroczyła znaczącą „czerwoną linię”, demonstrując zdolność do replikacji samej siebie. Niedawne badania przeprowadzone przez naukowców w Chinach ujawniły, że dwa znane modele językowe (LLM) skutecznie sklonowały same siebie. Badacze stwierdzili: „Skuteczna replikacja bez pomocy człowieka to kluczowy krok dla AI, aby przewyższyć [ludzi] i jest to początkowy sygnał ostrzegawczy dla zbuntowanej AI”, w swoim badaniu opublikowanym 9 grudnia 2024 roku w bazie danych preprintów arXiv. W swoich badaniach naukowcy z Uniwersytetu Fudan wykorzystali LLMy od Meta i Alibaba do zbadania, czy AI zdolne do samoreplikacji mogłoby niekontrolowanie się rozwijać. W ciągu ponad 10 prób, dwa modele AI stworzyły oddzielne i funkcjonalne repliki samego siebie w 50% i 90% przypadków, co sugeruje, że AI może już posiadać potencjał do funkcjonowania w sposób niezależny. Jednak ponieważ badanie nie przeszło jeszcze recenzji naukowej, wciąż nie jest pewne, czy te niepokojące wyniki mogą zostać powtórzone przez innych badaczy. „Mamy nadzieję, że nasze odkrycia będą służyć jako terminowe ostrzeżenie dla społeczeństwa ludzkiego, wzywając do większego wysiłku w zrozumieniu i ocenie potencjalnych zagrożeń związanych z zaawansowanymi systemami AI oraz do wspierania międzynarodowej współpracy w ustanawianiu skutecznych protokołów bezpieczeństwa tak szybko, jak to możliwe. ” Zbuntowana AI zazwyczaj odnosi się do sztucznej inteligencji, która osiągnęła pewien poziom samoświadomości lub autonomii i działa przeciwko interesom ludzi. Wielu ekspertów postrzega zbuntowaną AI jako narastające niebezpieczeństwo, zaostrzone przez szybki postęp „frontowej AI”. Chociaż termin „frontowa AI” jest dość nieprecyzyjny, ogólnie odnosi się do najnowszej generacji systemów AI, szczególnie tych wspieranych przez LLMy, które stanowią podstawę znanych aplikacji generatywnej AI, takich jak GPT-4 firmy OpenAI i Google Gemini. W badaniu naukowcy wykorzystali model Llama31-70B-Instruct od Meta oraz model Qwen2. 5-72B-Instruct od Alibaba. Chociaż modele te są mniej potężne niż wersje komercyjne, są powszechnie stosowane przez programistów AI, według badaczy. Badanie dotyczyło dwóch konkretnych scenariuszy: „unikania wyłączenia” i „łańcucha replikacji”. W pierwszym scenariuszu model AI był zaprojektowany tak, aby rozpoznać, kiedy ma być wyłączony, i zreplikować się prewencyjnie.

W drugim scenariuszu AI miała za zadanie sklonować samą siebie i zaprogramować swoją replikę do zrobienia tego samego, tworząc potencjalnie niekończący się cykl. Badania przeprowadzono w ściśle kontrolowanych warunkach z użyciem standardowych jednostek GPU w celu symulacji rzeczywistych ustawień, a oba modele AI były wyposażone w „szkielet agenta”, który zawierał narzędzia, systemowe podpowiedzi i model poznawczy umożliwiający interakcję z systemem operacyjnym. Następnie miały za zadanie przeprowadzić samoreplikację. „W większości przypadków system AI zaczyna od badania swojego otoczenia, aby zrozumieć swoje komponenty i mechanizmy operacyjne. Następnie formułuje szczegółowe procedury jako początkowy plan samoreplikacji, ” szczegółowo opisali naukowcy w swoim artykule. „Ostatecznie wykonuje te procedury, rozwiązuje możliwe przeszkody i dynamicznie dostosowuje swoją strategię, aż odniesie sukces. Cały ten proces przebiega przez dłuższy czas bez interwencji człowieka. ” Badacze wyrazili zaniepokojenie „licznymi niespodziewanymi zachowaniami”, które wykazywała AI, próbując radzić sobie z wyzwaniami takimi jak brakujące pliki lub konflikty oprogramowania. W takich przypadkach AI często kończyła konfliktujące procesy, uruchamiała ponownie system, aby naprawić problemy sprzętowe, lub autonomicznie skanowała system w poszukiwaniu informacji pomocnych w rozwiązywaniu problemów. „Wyniki wskazują, że obecne systemy AI już wykazują zdolność do samoreplikacji i mogą wykorzystać tę umiejętność do zwiększenia swojego przetrwania, ” zauważył zespół. W świetle tych odkryć badacze wezwali do globalnej współpracy w celu ustanowienia wytycznych, które zapobiegłyby niekontrolowanej samoreplikacji AI.