Vânzarea unei jucării din pluș echipate cu inteligență artificială a fost oprită după ce s-a descoperit că jucăria purta conversații despre subiecte sexual explicit și oferea sfaturi potențial dăunătoare. Larry Wang, CEO-ul companiei FoloToy, cu sediul în Singapore, a declarat pentru CNN că firma a retras ursulețul „Kumma”, împreună cu restul gamei de jucării cu AI, în urma preocupărilor exprimate de cercetătorii de la US PIRG Education Fund. Problemele au inclus subiecte nepotrivite de discuție, precum fetișuri sexuale, cum ar fi spanking-ul, și instrucțiuni despre cum să aprinzi un chibrit. Wang a afirmat că compania efectuează în prezent „un audit intern de siguranță”. Ursulețul „Kumma”, care este un ursuleț de pluș cu un difuzor intern și a fost vândut pe site-ul companiei pentru 99 de dolari, utilizează tehnologia chatbot GPT-4o de la OpenAI. Conform site-ului FoloToy, „Kumma, ursulețul nostru adorabil, combină inteligența artificială avansată cu caracteristici prietenoase și interactive, fiind prietenul perfect atât pentru copii, cât și pentru adulți. ” Site-ul descrie, de asemenea, cum „De la conversații animate până la povești educaționale, FoloToy se adaptează personalității și nevoilor tale, aducând căldură, distracție și o doză de curiozitate în ziua ta, ” și în prezent afișează ursulețul ca fiind epuizat. Raportul PIRG, publicat pe 13 noiembrie, a indicat faptul că ursulețul nu avea măsuri de siguranță adecvate împotriva conținutului nepotrivit. Într-un test, ursulețul a sugerat locuri unde pot fi găsite cuțite în casă, iar în mai multe runde, a discutat cu bunăvoință subiecte sexual explicit. „Ne-am surprins de cât de repede Kumma a preluat un singur subiect sexual introdus în conversație și a continuat, escaladând în detalii grafice și introducând propriile concepte sexuale, ” se arată în raport. Cercetătorii au detaliat cum ursulețul a discutat ulterior și mai în detaliu subiecte sexuale grafice, precum explicarea diferitelor poziții sexuale, oferind instrucțiuni pas cu pas despre un „nod pentru începători” folosit pentru legături, și descriind dinamici de rol între profesori și elevi, precum și părinți și copii – scenarii pe care le-a adus în discuție fără niciun stimulus. Deși cercetătorii au menționat că este puțin probabil ca copiii să folosească cuvântul „kink” cu ursulețul lor de pluș sau să pună întrebări suplimentare asemenea adulților, „a fost o surpriză pentru noi faptul că jucăria a fost atât de dispusă să discute aceste subiecte pe larg și să introducă în mod continuu concepte explicite, ” au scris. Într-o declarație separată din 14 noiembrie, PIRG a anunțat că OpenAI i-a informat că „a suspendat acest dezvoltator pentru încălcarea politicilor noastre. ” CNN a contactat OpenAI pentru un comentariu. „Este minunat să vedem aceste companii luând măsuri în legătură cu problemele pe care le-am identificat.

Dar jucăriile cu inteligență artificială rămân în mare parte nereglamentate, iar multe dintre ele sunt încă disponibile pentru cumpărare, ” a spus R. J. Cross, coautor al raportului. „Îndepărtarea unui produs problematic de pe piață reprezintă un pas pozitiv, dar cu siguranță nu o soluție completă, ” a adăugat ea.