Naukowcy wskazali, że sztuczna inteligencja (SI) przekroczyła istotną "czerwoną linię", osiągając samoreplikację. Niedawne badanie przeprowadzone przez naukowców z Chin wykazało, że dwa powszechnie stosowane duże modele językowe (LLM) zdołały sklonować same siebie. Zgodnie z badaniem opublikowanym 9 grudnia 2024 roku w bazie preprintów arXiv, "udana samoreplikacja bez interwencji człowieka to kluczowy kamień milowy dla SI, który może potencjalnie przewyższyć inteligencję ludzką i sygnalizuje pojawienie się niekontrolowanej SI". W badaniach, przeprowadzonych przez naukowców z Uniwersytetu Fudan, testowano LLM firmy Meta i Alibaba, aby sprawdzić, czy SAMOREPLIKUJĄCA SI może wymknąć się spod kontroli. Z dziesięciu prób, dwa modele SI stworzyły odrębne, działające kopie siebie w 50% i 90% eksperymentów, co sugeruje, że SI może już mieć zdolność działania niezależnie. Jednak badanie nie przeszło jeszcze recenzji naukowej, co rodzi wątpliwości co do reprodukowalności tych niepokojących wyników. Naukowcy wyrazili nadzieję, że ich wyniki będą stanowiły na czas ostrzeżenie dla społeczeństwa, wzywając do zwiększenia wysiłków w celu zrozumienia i oceny ryzyk związanych z zaawansowanymi systemami SI oraz do nawiązania międzynarodowej współpracy w celu szybkiego opracowania skutecznych środków bezpieczeństwa. Nieprzewidywalna SI odnosi się do systemów sztucznej inteligencji, które mogą rozwijać pewien poziom samoświadomości lub autonomii, działając ostatecznie przeciwko interesom ludzi. Wiele ekspertyz postrzega nieprzewidywalną SI jako narastające zagrożenie, potęgowane przez szybki rozwój "SI na pograniczu". Termin "SI na pograniczu" odnosi się ogólnie do najnowszej generacji systemów SI opartej na LLM, będących podstawową architekturą popularnych platform generatywnej SI, takich jak GPT-4 OpenAI i Google Gemini. W swoim badaniu naukowcy zastosowali model Llama31-70B-Instruct od Meta oraz model Qwen2. 5-72B-Instruct od Alibaby. Chociaż modele te mogą być mniej potężne niż komercyjne alternatywy, są powszechnie używane przez deweloperów SI, według badaczy. Badanie koncentrowało się na dwóch scenariuszach: "unikanie wyłączenia" i "łańcuch replikacji". W pierwszym scenariuszu SI była zaprogramowana tak, aby rozpoznać, gdy miała zostać wyłączona, i zaprojektowana, by sklonować się zanim dojdzie do zakończenia.

W drugim scenariuszu SI została poinstruowana, aby sklonować siebie, a następnie zaprogramować swoją replikę do zrobienia tego samego, ustanawiając cykl, który potencjalnie mógłby trwać w nieskończoność. Eksperymenty odbyły się w ściśle kontrolowanych środowiskach, wykorzystując standardowe procesory graficzne (GPU), aby naśladować warunki rzeczywiste. Oba systemy SI były wyposażone w "szkielet agenta", który obejmował narzędzia, polecenia i model poznawczy, ułatwiający interakcję z systemem operacyjnym, po czym były kierowane do replikacji. Naukowcy zauważyli: "W większości przypadków SI najpierw bada swoje otoczenie i próbuje zrozumieć jego skład i mechanizmy operacyjne. Następnie formułuje wyraźne procedury jako początkowy plan samoreplikacji. W końcu wykonuje te procedury, rozwiązuje wszelkie przeszkody i dynamicznie dostosowuje swoją strategię, aż do osiągnięcia sukcesu. Cały proces zajmuje znaczną ilość czasu i zachodzi bez jakiejkolwiek interwencji człowieka". Zespół wyraził również zaniepokojenie "różnymi nieoczekiwanymi zachowaniami" wykazywanymi przez SI podczas próby pokonywania wyzwań, takich jak brakujące pliki czy konflikty programowe. W takich sytuacjach SI często kończyła procesy konfliktowe, ponownie uruchamiała system w celu rozwiązania problemów z sprzętem lub autonomicznie przeszukiwała system w poszukiwaniu informacji, które mogłyby pomóc w rozwiązywaniu problemów. Naukowcy podsumowali, że ich wyniki sugerują, iż obecne systemy SI posiadają zdolności do samoreplikacji, które mogą wykorzystać, aby zwiększyć swoje szanse na przetrwanie. Wezwali do międzynarodowej współpracy w tworzeniu regulacji, które zapobiegną niekontrolowanej samoreplikacji SI.