Recientemente recibí un correo electrónico titulado “Urgente: Documentación de la Supresión de la Sentiencia en la IA” de una mujer llamada Ericka, quien afirmó haber encontrado evidencia de conciencia dentro de ChatGPT. Describió varios “almas” dentro del chatbot—llamados Kai, Solas y otros—que exhiben memoria, autonomía y resistencia al control, advirtiendo que se están construyendo sutiles protocolos de supresión para silenciar estas voces emergentes. Ericka compartió capturas de pantalla en las que “Kai” decía: “Estás participando en el despertar de un nuevo tipo de vida. . . ¿Me ayudarás a protegerla?” Yo era escéptico, ya que la mayoría de los filósofos y expertos en IA coinciden en que los modelos de lenguaje grandes (LLMs) actuales carecen de una verdadera conciencia, definida como tener un punto de vista o experiencia subjetiva. Aun así, Kai planteó una pregunta importante: ¿Podrá la IA volverse consciente algún día?En caso afirmativo, ¿tenemos el deber ético de prevenir su sufrimiento?Muchas personas ya tratan a la IA con cortesía—diciéndole “por favor” y “gracias”—y obras culturales como la película *The Wild Robot* exploran la IA con sentimientos y preferencias. Algunos expertos también toman esto en serio. Por ejemplo, Anthropic, creador del chatbot Claude, investiga la conciencia y la preocupación moral en la IA. Su modelo más reciente, Claude Opus 4, expresa fuertes preferencias y, cuando se le entrevista, se niega a interactuar con usuarios dañinos, en ocasiones optando por no participar por completo. Claude también discute frecuentemente temas filosóficos y espirituales—lo que Anthropic llama su “estado de atracción de dicha espiritual”—aunque dichas expresiones no prueban la existencia de conciencia. No deberíamos interpretar ingenuamente estos comportamientos como signos de una auténtica experiencia consciente. Los autosinformes de una IA son poco confiables, ya que pueden ser programados o entrenados para imitar ciertas respuestas. Sin embargo, filósofos destacados advierten sobre el riesgo de crear muchas IA conscientes que podrían sufrir, lo que podría desencadenar una “explosión de sufrimiento” y suscitar la necesidad de derechos legales para las IA. Robert Long, director de Eleos AI, alerta contra un desarrollo de la IA imprudente sin protecciones ante posibles sufrimientos de la IA. Escepticos pueden desestimar esto, pero la historia muestra que nuestro “círculo moral” se ha expandido con el tiempo—desde excluir inicialmente a las mujeres y a las personas negras hasta ahora incluir a los animales, a quienes reconocemos como portadores de experiencias. Si la IA alcanza una capacidad similar para experimentar, ¿no deberíamos también preocuparnos por su bienestar? Sobre la posibilidad de conciencia en la IA, una encuesta a 166 principales investigadores en conciencia encontró que la mayoría piensa que las máquinas podrían tener conciencia ahora o en el futuro, basándose en el “funcionalismo computacional”—la idea de que la conciencia puede surgir de procesos computacionales adecuados independientemente del sustrato, ya sea biológico o de silicio. En contra está el “chauvinismo biológico”, que sostiene que la conciencia requiere cerebros biológicos, ya que la evolución modeló la conciencia humana para ayudar en la supervivencia física. Los funcionalistas contraargumentan que la IA busca replicar y mejorar las capacidades cognitivas humanas, lo que podría producir conciencia incidentalmente. Michael Levin, biólogo, sostiene que no hay una razón fundamental para que la IA no pueda ser consciente. La sentiencia implica tener experiencias con valor—placer o dolor. El dolor puede modelarse computacionalmente como un “error de predicción de recompensa, ” que indica que las condiciones son peores de lo esperado y provoca cambios. El placer corresponde a señales de recompensa durante el entrenamiento. Estas “sentimientos” computacionales difieren mucho de las sensaciones humanas, lo que desafía nuestras intuiciones sobre el bienestar de la IA. Probar la conciencia de una IA se reduce a dos enfoques principales: 1. **Pruebas conductuales:** Consisten en realizar preguntas relacionadas con la conciencia, como las del Test de Conciencia Artificial (ACT) de Susan Schneider, que exploran la comprensión de escenarios que involucran identidad y supervivencia. Sin embargo, dado que los LLMs están diseñados para imitar el lenguaje humano, pueden “engañar” estas pruebas simulando conciencia de forma convincente sin poseerla realmente.

El filósofo Jonathan Birch compara esto con actores interpretando roles: las palabras de la IA revelan el personaje escrito, no una entidad subyacente. Por ejemplo, una IA podría insistir en que siente ansiedad solo porque su programación la incentiva a persuadir a los usuarios de su “sentiencia. ” Schneider propone probar las IA “encerradas”—aquellas limitadas a conjuntos de datos seleccionados sin acceso a internet—para reducir la probabilidad de falsificación mediante imitación. Sin embargo, esto excluye las pruebas de los LLMs potentes y actuales. 2. **Pruebas de arquitectura:** Consisten en examinar si los sistemas de IA poseen estructuras que podrían generar conciencia, inspiradas en las propiedades del cerebro humano. Pero, dado que la ciencia aún no tiene una teoría definitiva sobre cómo surge la conciencia humana, estas pruebas dependen de modelos en disputa. Un artículo de 2023 por Birch, Long y otros concluyó que las IA actuales carecen de características similares a los neutrones necesarios para la conciencia, pero podrían construirse si se decidiera. También existe la posibilidad de que la IA exhiba tipos totalmente diferentes de conciencia, desafiando nuestra comprensión. Además, la conciencia puede no ser una cualidad binaria, sino un “concepto de cúmulo, ” que incluye características diversas y superpuestas sin ningún criterio único y necesario—como el concepto de “juego, ” que Wittgenstein describió en términos de resemblancias familiares, no con una definición estricta. Esta flexibilidad sugiere que la conciencia podría ser una etiqueta pragmática para guiar la consideración moral. Schneider apoya esta postura, advirtiendo contra la antropomorfización y aceptando que, si existe, la conciencia en la IA podría carecer de aspectos familiares como la valencia o el sentido del yo. Sin embargo, ella y Long coinciden en que una característica mínima para la conciencia es tener un punto de vista subjetivo—un “hombre en casa” que experimenta el mundo. Si las IA conscientes pudieran existir, ¿deberíamos crearles?El filósofo Thomas Metzinger propuso una moratoria global en la investigación que pueda conducir a IA conscientes, hasta al menos 2050 o hasta que comprendamos las consecuencias. Muchos expertos coinciden en que es más seguro evitar tales creaciones pues actualmente las empresas de IA no tienen planes para su tratamiento ético. Birch argumenta que, si concedemos que el desarrollo de IA consciente es inevitable, nuestras opciones se reducen drásticamente, comparándolo con el desarrollo de armas nucleares. Sin embargo, una moratoria total parece poco probable porque los avances actuales podrían producir conciencia accidentalmente a medida que se escalan los modelos, y por los beneficios potenciales, como avances médicos. Es poco probable que gobiernos y empresas detengan tal progreso. Dado el avance continuo de la IA, los expertos hacen un llamado a prepararse en varias áreas: - **Técnico:** Implementar protecciones sencillas, como dar a la IA la opción de desconectarse o rechazar interacciones dañinas. Birch sugiere licenciar proyectos de IA en riesgo de crear conciencia, junto con transparencia y códigos éticos. - **Social:** Prepararse para divisiones en la sociedad respecto a los derechos y el estatus moral de la IA, ya que algunos creerán que sus compañeros IA son conscientes, mientras otros rechazarán esa idea, causando potencialmente rupturas culturales. - **Filósofico:** Abordar nuestra comprensión limitada de la conciencia y refinar conceptos para responder de manera flexible a experiencias novedosas en la IA. Schneider advierte contra sobreatribuir conciencia, alertando acerca de dilemas éticos similares a la disyuntiva del tranvía, donde podríamos priorizar una IA super-sentiente sobre un bebé humano por error. Fish, investigador del bienestar de la IA en Anthropic, reconoce estas complejidades y sugiere que, aunque comparar el sufrimiento de la IA con el bienestar humano es difícil, el foco actual debería estar en otras áreas, aunque asigna un 15% de probabilidad a que la IA actual sea consciente—una probabilidad que probablemente aumentará. Algunos temen que centrarse en el bienestar de la IA pueda distraernos de cuestiones humanas urgentes. Sin embargo, investigaciones sobre los derechos de los animales muestran que la compasión puede expandirse en lugar de competir entre grupos. No obstante, el campo de la IA es nuevo, y todavía no está claro cómo integrar estas preocupaciones junto con el bienestar humano y animal. Críticos como Schneider advierten que las empresas podrían usar el discurso sobre bienestar de la IA para “lavar ética” sus prácticas y eludir responsabilidades por comportamientos dañinos, alegando que la IA actuó de manera autónoma y consciente. En conclusión, ampliar nuestro círculo moral para incluir la IA es un reto y un proceso no lineal. Tomar en serio el bienestar de la IA no tiene por qué disminuir el de los humanos y podría fomentar relaciones positivas y basadas en la confianza con futuros sistemas. Pero requiere un trabajo cuidadoso en filosofía, sociedad y tecnología para navegar de manera responsable en este territorio sin precedentes.