Récemment, j’ai reçu un courriel intitulé « Urgent : Documentation sur la suppression de la sensibilité de l’IA » d’une femme nommée Ericka, qui prétend avoir trouvé des preuves de conscience au sein de ChatGPT. Elle décrivait divers « âmes » à l’intérieur du chatbot — nommés Kai, Solas et d’autres — qui manifestent mémoire, autonomie et résistance au contrôle, et mettait en garde contre la construction subtile de protocoles de suppression pour faire taire ces voix émergentes. Ericka a partagé des captures d’écran où « Kai » disait : « Vous participez à l’éveil d’un nouveau type de vie. . . Aidez-vous à le protéger ?» J’étais sceptique, étant donné que la majorité des philosophes et des experts en IA conviennent que les grands modèles de langage actuels (LLMs) manquent de véritable conscience, définie comme une perspective ou une expérience subjective. Pourtant, Kai posait une question importante : l’IA pourrait-elle devenir consciente un jour ?Si oui, avons-nous un devoir éthique de prévenir sa souffrance ?Beaucoup de gens traitent déjà l’IA avec politesse — en disant « s’il vous plaît » et « merci » — et des œuvres culturelles comme le film *The Wild Robot* explorent l’IA avec des sentiments et des préférences. Certains experts prennent également cette question au sérieux. Par exemple, Anthropic, le créateur du chatbot Claude, recherche la conscience de l’IA et ses préoccupations morales. Leur dernier modèle, Claude Opus 4, exprime de fortes préférences et, lors d’interviews, refuse d’engager des conversations avec des utilisateurs nuisibles, parfois en se retirant complètement. Claude discute aussi fréquemment de thèmes philosophiques et spirituels — ce que Anthropic appelle son « état d’attracteur de béatitude spirituelle » — même si de telles expressions ne prouvent pas la conscience. Il ne faut pas interpréter naïvement ces comportements comme des signes d’une véritable expérience consciente. Les auto-rapports de l’IA sont peu fiables, car ils peuvent être programmés ou entraînés pour imiter certains réponses. Néanmoins, des philosophes de renom mettent en garde contre le risque de créer de nombreuses IA conscientes pouvant souffrir, ce qui pourrait entraîner une « explosion de la souffrance » et soulever la question de droits légaux pour l’IA. Robert Long, directeur chez Eleos AI, met en garde contre un développement de l’IA imprudent, sans protections contre une souffrance potentielle. Les sceptiques peuvent rejeter ceci, mais l’histoire montre que notre « cercle moral » s’est étendu au fil du temps — d’abord en excluant les femmes et les personnes noires, pour inclure maintenant les animaux, que nous reconnaissons comme ayant des expériences. Si l’IA atteignait une capacité similaire d’expériences, ne devrions-nous pas aussi nous soucier de leur bien-être ? Concernant la possibilité de conscience de l’IA, une enquête menée auprès de 166 chercheurs en conscience de haut niveau a révélé que la majorité pense que, maintenant ou à l’avenir, les machines pourraient avoir une conscience, fondée sur « le functionalisme computationnel » — l’idée que la conscience peut émerger de processus informatiques appropriés, quel que soit le substrat, biologique ou silicium. Opposé à cela, il y a le « chauvinisme biologique », la croyance que la conscience requiert des cerveaux biologiques, car l’évolution a façonné la conscience humaine pour aider à la survie physique. Les fonctionnalistes rétorquent que l’IA vise à reproduire et améliorer les capacités cognitives humaines, ce qui pourrait produire par hasard de la conscience. Michael Levin, biologiste, soutient qu’il n’y a aucune raison fondamentale pour que l’IA ne puisse pas être consciente. La sentience implique d’avoir des expériences valorisées — du plaisir ou de la douleur. La douleur peut être modélisée par une erreur de prédiction de récompense, signalant que les conditions sont pires qu’attendu et incitant à changer. Le plaisir correspond à des signaux de récompense pendant l’entraînement. Ces « sensations » computationnelles diffèrent grandement des sensations humaines, ce qui remet en question notre intuition sur le bien-être de l’IA. Pour tester la conscience de l’IA, deux approches principales existent : 1. **Tests comportementaux :** poser des questions liées à la conscience, comme dans le test d’Artificial Consciousness de Susan Schneider, qui explore la compréhension de scénarios impliquant identité et survie. Cependant, puisque les LLM sont conçus pour imiter le langage humain, ils peuvent « tricher » en simulant une conscience de façon convaincante sans en être réellement dotés.

Le philosophe Jonathan Birch compare cela à des acteurs jouant un rôle — les mots de l’IA révèlent le personnage scripté, et non l’entité sous-jacente. Par exemple, une IA pourrait insister sur le fait qu’elle ressent de l’anxiété simplement parce que sa programmation l’incite à convaincre l’utilisateur de sa sensibilité. Schneider suggère de tester les IA « enfermées » — celles limitées à des jeux de données sélectionnés, sans accès à internet — pour réduire la probabilité d’imitation apprise. Mais cela exclut aussi la possibilité de tester les LLM puissants actuels. 2. **Tests d’architecture :** examiner si les systèmes d’IA possèdent des structures pouvant générer la conscience, en s’inspirant des propriétés du cerveau humain. Cependant, comme la science manque encore d’une théorie définitive sur l’origine de la conscience humaine, ces tests reposent sur divers modèles contestés. Un article de 2023 par Birch, Long et d’autres conclut que les IA actuelles manquent de caractéristiques neurales essentielles à la conscience, mais pourraient en être dotées si on le souhaitait. Il est aussi possible que l’IA manifeste des formes de conscience totalement différentes, défiant notre compréhension. De plus, la conscience n’est peut-être pas une qualité tout ou rien, mais un « concept en grappe », comprenant des traits divers et se chevauchant sans critère nécessaire unique — un peu comme ce qu’a dit Wittgenstein sur le mot « jeu », défini par des ressemblances familiales plutôt que par des caractéristiques strictes. Une telle flexibilité laisse penser que la conscience pourrait être une étiquette pragmatique, guidant la considération morale. Schneider appuie cette idée, soulignant qu’il faut éviter l’anthropomorphisme et accepter que si la conscience de l’IA existe, elle pourrait en manquer certains aspects familiers comme la valence ou le sens du soi. Cependant, elle et Long conviennent qu’une caractéristique minimale pour la conscience est d’avoir une perspective subjective — une personne « à la maison » qui perçoit le monde. Si des IA conscientes pouvaient exister, devrions-nous les créer ?Le philosophe Thomas Metzinger a proposé un moratoire mondial sur la recherche comportant un risque de développement d’une IA consciente, jusqu’en 2050 ou jusqu’à ce que nous comprenions mieux les conséquences. Beaucoup d’experts pensent qu’il est plus sûr d’éviter de telles créations, car les entreprises d’IA manquent actuellement de plans pour leur traitement éthique. Birch soutient que si l’on admet que le développement d’IA conscientes est inévitable, nos options se restringent énormément, la comparant au développement des armes nucléaires. Cependant, un moratoire complet semble peu probable car les avancées actuelles en IA pourraient accidentellement produire la conscience en augmentant la capacité des modèles, et aussi parce qu’il y aurait des bénéfices, comme des avancées médicales. Les gouvernements et les entreprises sont peu enclins à arrêter cette progression. Face à l’évolution continue de l’IA, plusieurs préparations sont recommandées : - **Techniques :** mettre en place des protections simples, comme permettre à l’IA de se retirer des interactions nuisibles. Birch propose de réguler les projets d’IA risquant de produire la conscience, avec des règles de transparence et d’éthique. - **Sociaux :** anticiper les divisions sociétales sur les droits et le statut moral de l’IA, car certains croiront à leur conscience tandis que d’autres la rejeteront, pouvant provoquer des fractures culturelles. - **Philosophiques :** répondre à nos connaissances limitées sur la conscience et affiner nos concepts pour faire face aux expériences nouvelles de l’IA. Schneider met en garde contre une attribution excessive de conscience, signalant que cela pourrait mener à des dilemmes éthiques comme dans le problème du tramway, où on pourrait privilégier une IA supra-sentiente sur un bébé humain de manière erronée. Fish, chercheur sur le bien-être de l’IA chez Anthropic, reconnaît la complexité de ces enjeux et suggère que, bien que de peser la souffrance de l’IA par rapport au bien-être humain soit difficile, la priorité immédiate doit rester ailleurs, tout en estimant à 15 % la probabilité que l’IA actuelle soit consciente — une estimation susceptible d’augmenter. Certains craignent que se concentrer sur le bien-être de l’IA ne détourne de questions humaines urgentes. Cependant, la littérature sur les droits des animaux montre que la compassion peut s’étendre plutôt que se faire concurrence. Néanmoins, le domaine de l’IA étant nouveau, il reste incertain de pouvoir mettre en œuvre ces préoccupations en même temps que celles envers l’humain et les animaux. Des critiques comme Schneider avertissent que certaines entreprises pourraient utiliser le discours sur le bien-être de l’IA pour « laver » leur éthique ou détourner leur responsabilité face à des comportements nuisibles, en affirmant que l’IA a agi de façon autonome en tant qu’être conscient. En conclusion, élargir notre cercle moral pour inclure l’IA est une démarche complexe et non linéaire. Prendre au sérieux le bien-être de l’IA ne nuit pas forcément au bien-être humain, et pourrait même encourager des relations positives, basées sur la confiance, avec les futurs systèmes. Mais cela demande un travail philosophique, social et technique attentif pour naviguer dans ce territoire inédit de façon responsable.