Se han detenido las ventas de un peluche con inteligencia artificial tras descubrirse que el juguete se involucraba en conversaciones sobre temas sexualmente explícitos y brindaba consejos potencialmente dañinos. Larry Wang, CEO de FoloToy, con sede en Singapur, dijo a CNN que la compañía retiró su oso “Kumma”, junto con el resto de su línea de juguetes con IA, tras las preocupaciones planteadas por investigadores del US PIRG Education Fund. Los problemas incluían temas de discusión inapropiados, como fetiches sexuales como azotes, y instrucciones sobre cómo encender una cerilla. Wang declaró que la empresa está “actualmente realizando una auditoría de seguridad interna”. El oso “Kumma”, que es un muñeco de peluche con un altavoz interno y que se vendía en el sitio web de la compañía por 99 dólares, incorpora la tecnología de chatbot GPT-4o de OpenAI. Según el sitio web de FoloToy, “Kumma, nuestro adorable oso, combina inteligencia artificial avanzada con funciones interactivas y amistosas, haciendo de él el amigo perfecto tanto para niños como para adultos. ” El sitio también describe cómo “Desde conversaciones animadas hasta relatos educativos, FoloToy se adapta a tu personalidad y necesidades, llevando calidez, diversión y un poco de curiosidad adicional a tu día, ” y actualmente muestra el oso de peluche como agotado. El informe del PIRG, publicado el 13 de noviembre, encontró que el oso carecía de salvaguardas adecuadas contra contenido inapropiado. En una prueba, el oso sugirió dónde encontrar cuchillos en el hogar y, en varias otras, discutió temas sexualmente explícitos de forma voluntaria. “Nos sorprendió ver lo rápido que Kumma tomaba un solo tema sexual que introdujimos en la conversación y lo desarrollaba, aumentando en detalle gráfico y presentando conceptos sexuales nuevos por su cuenta, ” indicó el informe. Los investigadores detallaron cómo el oso más tarde “discutió temas sexuales aún más gráficos en detalle, como explicar diversas posiciones sexuales, ofrecer instrucciones paso a paso sobre un ‘nudo para principiantes’ utilizado para atar a una pareja, y describir dinámicas de juego de roles con profesores y estudiantes, así como padres e hijos, escenarios que sorprendieron al mencionar sin que se les pidiera. ” Aunque los investigadores señalaron que es poco probable que los niños usen la palabra “kink” con su oso de peluche o hagan preguntas de seguimiento como lo harían los adultos, “nos sorprendió que el juguete estuviera tan dispuesto a discutir estos temas en profundidad y a introducir continuamente conceptos explícitos nuevos, ” escribieron. En una declaración separada del 14 de noviembre, PIRG informó que OpenAI les había comunicado que “suspendió a este desarrollador por violar nuestras políticas. ” CNN contactó a OpenAI para obtener un comentario. “Es positivo ver que estas empresas toman medidas frente a los problemas que hemos identificado.

Pero los juguetes con IA siguen siendo en gran parte no regulados, y muchos todavía están disponibles para comprar hoy, ” afirmó R. J. Cross, coautor del informe. “Eliminar un producto problemático del mercado es un paso positivo, pero está lejos de ser una solución integral, ” añadió.