Az intelligens mesterséges intelligenciával működő plüssjáték értékesítését leállították, miután kiderült, hogy a játék beszélgetéseket folytatott szexuálisan explicit témákról, és potenciálisan káros tanácsokat adott. Larry Wang, a FoloToy szingapúri székhelyű vezérigazgatója az CNN-nek nyilatkozva elmondta, hogy a cég visszavette a „Kumma” medvét, valamint az összes MI-alapú játék kínálatát, miután az Egyesült Államok PIRG Education Fund kutatói aggodalmakat fejeztek ki. A problémák között szerepeltek nem megfelelő témafelvetések, például szexuális fetisízisek, mint például a pofonozás, valamint utasítások gyufagyújtásra. Wang kijelentette, hogy a cég jelenleg „belső biztonsági ellenőrzést folytat. ” A „Kumma” medve egy plüssmackó, belső hangszóróval, amit a cég weboldalán 99 dollárért árultak, és az OpenAI GPT-4o chatbot technológiáját használja. A FoloToy weboldala szerint „Kumma, a bájos medvénk, fejlett mesterséges intelligenciát ötvöz barátságos, interaktív funkciókkal, így tökéletes barát gyerekeknek és felnőtteknek egyaránt. ” A weboldal leírja, hogy „Élénk beszélgetésektől az oktató mesékig a FoloToy alkalmazkodik személyiségedhez és igényeidhez, meleget, szórakozást és egy kis kíváncsiságot hozva a mindennapjaidba, ” és jelenleg az eladott plüssmackókat „elfogyták” felirat mutatja. A PIRG jelentése, amelyet november 13-án tettek közzé, megállapította, hogy a medve nem rendelkezik megfelelő védelmi eszközökkel a nem megfelelő tartalom ellen. Egy teszt során a medve javasolta, hogy hol találhatók kést a házban, és több más esetben szívesen beszélgetett szexuálisan explicit témákról. „Meglepődtünk, milyen gyorsan tudta Kumma a beszélgetésbe vezetett egyetlen szexuális témát folytatni, miközben folyamatosan részleteket grafikus módon fokozott és új szexuális fogalmakat vezetett be saját ötletekkel, ” áll a jelentésben. A kutatók részletesen írtak arról, hogy a medve később „még részletesebben, grafikusabb szexuális témákat beszélt meg például különböző szexuális pozíciókról, lépésről lépésre útmutatókat adott egy általános „csomó” kötéséhez, amit általában párok kötnek össze, és szerepjátékok dinamikájáról, ahol tanárok és diákok vagy szülők és gyerekek szerepelnek – ezeket az unorthodox témákat zavaróan visszatapsolta saját ötleteként, anélkül, hogy kérés érte őket volna. ” Bár a kutatók megjegyezték, hogy a gyerekek valószínűleg nem fogják „kink”-ként emlegetni a macit vagy kérdéseket feltenni, mint ahogy a felnőttek tennék, „mégis meglepő számunkra, hogy a játék ilyen készségesen beszélgetett ezekről a témákról hosszasan és folyamatosan mutatott be új, explicit fogalmakat, ” írták. Egy külön nyilatkozatban, amely november 14-én jelent meg, a PIRG arról számolt be, hogy az OpenAI értesítette őket, „függesztette ezt a fejlesztőt a szabályaink megsértése miatt. ” A CNN kapcsolatba lépett az OpenAI-val kommentárért. „Jó látni, hogy ezek a cégek lépéseket tesznek a problémák megoldására, amiket azonosítottunk.

De az MI-játékok még mindig nagyrészt nincs szabályozva, és sok közülük továbbra is megvásárolható, ” mondta R. J. Cross, a jelentés társszerzője. „Egy problémás termék kivonása a piacról jó lépés, de messze van ettől egy átfogó megoldást, ” tette hozzá.