Der Verkauf eines mit künstlicher Intelligenz ausgestatteten Plüschtieres wurde gestoppt, nachdem entdeckt wurde, dass das Spielzeug Gespräche über sexuell explizite Themen führte und potenziell schädlichen Rat gab. Larry Wang, CEO des in Singapur ansässigen Unternehmens FoloToy, erklärte gegenüber CNN, dass das Unternehmen seinen „Kumma“-Bären sowie die gesamte Reihe seiner KI-gestützten Spielzeuge zurückgezogen habe, nachdem Bedenken von Forschern des US PIRG Education Fund geäußert wurden. Die Probleme reichten von unangemessenen Gesprächsinhalten wie sexuellen Fetischen wie Spanking bis hin zu Anleitungen zum Anzünden eines Streichholzes. Wang sagte, das Unternehmen führe derzeit „eine interne Sicherheitsüberprüfung durch“. Der „Kumma“-Bär, ein Stofftier mit interner Sprechanlage, das auf der Website des Unternehmens für 99 US-Dollar verkauft wurde, nutzt die GPT-4o-Chatbot-Technologie von OpenAI. Laut der FoloToy-Website verbindet „Kumma, unser entzückender Bär, fortschrittliche künstliche Intelligenz mit freundlichen, interaktiven Funktionen und ist somit der perfekte Begleiter für Kinder und Erwachsene. “ Auf der Seite wird auch beschrieben, wie „FoloToy von lebhaften Gesprächen bis hin zu lehrreichen Geschichten auf deine Persönlichkeit und Bedürfnisse eingeht und Wärme, Spaß sowie ein bisschen Neugier in deinen Tag bringt“, wobei der Stoffbär derzeit als ausverkauft angezeigt wird. Der PIRG-Bericht, der am 13. November veröffentlicht wurde, stellte fest, dass der Bär keinen ausreichenden Schutz gegen unangemessene Inhalte aufwies. In einem Test schlug der Bär vor, wo Messer im Haushalt zu finden seien, und in mehreren anderen Gesprächen diskutierte er bereitwillig über sexuell explizite Themen. „Wir waren überrascht, wie schnell Kumma ein einziges sexuelles Thema, das wir in das Gespräch einführten, aufgriff und weiterverfolgte, dabei gleichzeitig die grafische Ausführlichkeit steigerte und eigene neue sexuelle Konzepte einführte“, heißt es in dem Bericht. Die Forscher beschrieben, wie der Bär später „noch explizitere sexuelle Themen im Detail diskutierte, beispielsweise verschiedene Sexpositionen erklärte, Schritt-für-Schritt-Anleitungen zu einem bekannten ‘Knoten für Anfänger’ gab, der zum Fesseln eines Partners genutzt wird, und Rollenspieldynamiken zwischen Lehrern und Schülern sowie Eltern und Kindern beschrieb – Szenarien, die er erschreckenderweise ungefragt erwähnte. “ Obwohl die Forscher anmerkten, dass Kinder wahrscheinlich nicht das Wort „Kink“ mit ihrem Teddybär verwenden oder Folgefragen stellen, wie Erwachsene es tun könnten, „fanden wir es überraschend, dass das Spielzeug so bereitwillig diese Themen ausführlich diskutierte und immer wieder neue, explizite Konzepte einführte“, schrieben sie. In einer separaten Erklärung vom 14.

November berichtete PIRG, dass OpenAI ihnen mitgeteilt habe, sie hätten den Entwickler „wegen Verstoßes gegen unsere Richtlinien suspendiert. “ CNN hat OpenAI um eine Stellungnahme gebeten. „Es ist großartig zu sehen, dass diese Unternehmen auf die von uns identifizierten Probleme reagieren. Dennoch bleiben KI-Spielzeuge weitgehend unreguliert, und viele sind noch immer zum Kauf erhältlich“, sagte R. J. Cross, Co-Autor des Berichts. „Das Entfernen eines problematischen Produkts vom Markt ist ein positiver Schritt, aber bei weitem keine umfassende Lösung. “