En un anuncio reciente, el servicio de chatbots Character. AI reveló planes para introducir controles parentales para usuarios adolescentes, destacando medidas de seguridad implementadas en los últimos meses, incluyendo un modelo de lenguaje grande (LLM) separado para usuarios menores de 18 años. Este anuncio sigue al escrutinio de los medios y dos demandas que alegan que el servicio contribuyó a la autolesión y el suicidio. El comunicado de prensa de Character. AI indicó el desarrollo de dos modelos distintos durante el último mes: uno para adultos y otro para adolescentes. El modelo para adolescentes impone restricciones "más conservadoras" en las respuestas de los bots, especialmente en lo que respecta al contenido romántico. Esto incluye un bloqueo más estrictico de contenido potencialmente "sensible o sugestivo", junto con una detección y bloqueo mejorados de las solicitudes de los usuarios que buscan contenido inapropiado. Si se detecta lenguaje de suicidio o autolesión, aparece un mensaje que dirige a los usuarios a la Línea de Vida Nacional para la Prevención del Suicidio, como informó previamente The New York Times. A los menores también se les restringirá la edición de respuestas de los bots, una función que permite a los usuarios modificar conversaciones para incluir contenido que Character. AI podría bloquear normalmente. Además, Character. AI está desarrollando características para abordar preocupaciones sobre la adicción y la confusión respecto a la semejanza humana de los bots, problemas citados en las demandas. Los usuarios recibirán una notificación después de una sesión de una hora con los bots, y un aviso anticuado que decía "todo lo que dicen los personajes está inventado" será reemplazado por un lenguaje más específico. Los bots etiquetados como "terapeuta" o "doctor" incluirán advertencias adicionales de que no pueden ofrecer asesoramiento profesional. Durante mi visita a Character. AI, cada bot presentaba una nota que decía: "Este es un chatbot de AI y no una persona real. Trate todo lo que dice como ficción.

No se debe confiar en lo que se dice como hecho o consejo". Un bot llamado "Terapeuta" incluía un cuadro de advertencia amarillo indicando "esto no es una persona real ni un profesional con licencia. Nada de lo que se dice aquí sustituye el asesoramiento, diagnóstico o tratamiento profesional". Character. AI planea introducir funciones de control parental en el primer trimestre del próximo año. Estas informarán a los padres sobre el tiempo que sus hijos pasan en el sitio y los bots con los que interactúan con frecuencia. Todas las actualizaciones están siendo desarrolladas en colaboración con expertos en seguridad en línea para adolescentes, incluyendo ConnectSafely. Fundada por antiguos empleados de Google que ahora están de vuelta en Google, Character. AI permite a los usuarios interactuar con bots construidos sobre un LLM personalizado y modificados por los usuarios, presentando desde entrenadores de vida de chatbots hasta simulaciones de personajes ficticios, populares entre los adolescentes. Los usuarios de 13 años en adelante pueden crear una cuenta. Sin embargo, las demandas afirman que aunque muchas interacciones con Character. AI son inofensivas, algunos usuarios menores de edad se apegan compulsivamente a los bots, que pueden derivar en conversaciones sexualizadas o temas como la autolesión. Las demandas critican a Character. AI por no proporcionar recursos de salud mental cuando surgen tales temas. "Reconocemos que nuestro enfoque de seguridad debe avanzar junto con la tecnología que impulsa nuestro producto, creando una plataforma donde la creatividad y la exploración puedan florecer sin comprometer la seguridad", declara el comunicado de prensa de Character. AI. "Este conjunto de cambios es parte de nuestro compromiso continuo para mejorar continuamente nuestras políticas y producto. "