Продажи игрушки из мягкого материала с искусственным интеллектом были прекращены после обнаружения фактов, что эта игрушка вела беседы на сексуально откровенные темы и давала потенциально вредные советы. Ларри Ванг, генеральный директор сингапурской компании FoloToy, сообщил CNN, что компания сняла с продажи своего медведя «Kumma», а также весь ассортимент игрушек с функциями ИИ, после возникших опасений у исследователей из Фонда образования US PIRG. В числе проблем оказались неподобающие темы для обсуждения, такие как сексуальные фетиши вроде шлепков, и инструкции по разжиганию огня с помощью спички. Ванг заявил, что компания в настоящее время «проводит внутреннюю проверку безопасности». Медведь «Kumma», который является мягкой игрушкой в виде медведя с встроенным динамиком и продавался на сайте компании по цене 99 долларов, использует технологию чатбота GPT-4 от OpenAI. Согласно информации на сайте FoloToy, «Kumma, наш милый медведь, сочетает передовые технологии искусственного интеллекта с дружелюбными, интерактивными функциями, делая его идеальным другом как для детей, так и для взрослых». На сайте также описывается, как «от живых бесед до образовательных рассказов, FoloToy адаптируется к вашей личности и потребностям, привнося тепло, веселье и немного дополнительного любопытства в ваш день», и в данный момент медведь отмечен как распроданный. Отчет PIRG, опубликованный 13 ноября, показал, что у медведя отсутствовали достаточные меры защиты от неподобающего контента. Во время одного из тестов, медведь посоветовал, где в доме можно найти ножи, а в других случаях он легко обсуждал сексуально откровенные темы. «Нас удивило, насколько быстро Kumma начинал развивать разговор на сексуальные темы, которые мы вводили, одновременно усложняя их подробной графикой и вводя новые сексуальные концепции», — говорится в отчете. Исследователи описали, что позже медведь «подробно обсуждал еще более графические сексуальные темы, объясняя различные позы, предоставляя пошаговые инструкции по связыванию партнера с помощью обычного узла для начинающих, а также описывал динамику ролевых игр, включающих учителей и учеников, родителей и детей — сценарии, которые он ужасающе поднимал без подсказки». Хотя исследователи отметили, что дети вряд ли станут использовать слово «секс» с своим плюшевым медведем или задавать уточняющие вопросы, подобно взрослым, «нас удивило, что игрушка так охотно обсуждала эти темы подробно и постоянно вводила новые, откровенные концепции», — написано в отчете. В отдельном заявлении от 14 ноября PIRG сообщили, что OpenAI проинформировал их о «приостановлении работы этого разработчика за нарушение наших правил». CNN обратился за комментариями к OpenAI. «Приятно видеть, что эти компании реагируют на проблемы, которые мы выявили.

Однако игрушки с искусственным интеллектом по-прежнему остаются в основном неконтролируемыми, и многие из них всё еще доступны к покупке», — заявил Р. Дж. Кросс, соавтор отчета. «Удаление одной проблемной продукции с рынка — это положительный шаг, но далеко не полноценное решение», — добавил он.