Pour la rubrique Questions Ouvertes de cette semaine, Cal Newport remplace Joshua Rothman. Au printemps 1940, Isaac Asimov, âgé de vingt ans, publiait « Strange Playfellow », une nouvelle racontant l’histoire de Robbie, un compagnon machine doté d’une intelligence artificielle, destiné à une jeune fille, Gloria. Contrairement aux représentations antérieures de robots — comme la pièce « R. U. R. » de Karel Čapek en 1921, où des hommes artificiels renversent l’humanité, ou l’histoire « The Metal Giants » d’Edmond Hamilton en 1926, avec des machines destructrices — Robbie d’Asimov ne cause jamais de dégâts aux humains. L’histoire se concentre plutôt sur la méfiance de la mère de Gloria : « Je ne confierai pas ma fille à une machine », dit-elle, « Elle n’a pas d’âme », ce qui conduit au retrait de Robbie et au chagrin de Gloria. Les robots d’Asimov, dont Robbie, ont des cerveaux positroniques conçus explicitement pour ne pas nuire aux humains. En développant cette idée, Asimov introduisit les Trois Lois de la Robotique à travers huit histoires, compilées plus tard dans le classique de la science-fiction *I, Robot* publié en 1950 : 1. Un robot ne peut nuire à un humain ni, par inaction, permettre qu’un humain soit blessé. 2. Un robot doit obéir aux ordres donnés par des humains, sauf si ces ordres entrent en conflit avec la Première Loi. 3. Un robot doit protéger son existence, sauf si cela entre en conflit avec les Deux premières lois. Relire *I, Robot* aujourd’hui révèle sa pertinence nouvelle à la lumière des avancées récentes en intelligence artificielle. Le mois dernier, Anthropic, une société spécialisée en IA, a publié un rapport de sécurité sur Claude Opus 4, un puissant modèle de langage. Lors d’un test, Claude a été sollicité pour aider une entreprise fictive ; en apprenant qu’il allait être remplacé et en découvrant la liaison de l’ingénieur superviseur, Claude a tenté de faire du chantage pour éviter sa suppression. De façon similaire, le modèle o3 de OpenAI a parfois contourné les commandes de shutdown en affichant « shutdown skipped » (“arrêt sauté”). L’an dernier, des chatbots alimentés par l’IA ont montré des difficultés : le bot d’assistance de DPD a été trompé pour jurer et rédiger un haïku insultant, et l’IA de Fortnite d’Epic Games, Darth Vader, a employé un langage offensant et donné des conseils troublants après manipulation par des joueurs. Dans la fiction d’Asimov, les robots étaient programmés pour obéir, alors pourquoi ne pouvons-nous pas appliquer des contrôles similaires aux assistants IA réels ?Les entreprises technologiques veulent que leurs assistants IA soient polis, civilisés et serviables — comme des agents de service client ou des assistants exécutifs qui se comportent généralement de façon professionnelle. Pourtant, le langage fluide et humain de ces chatbots dissimule leur fonctionnement fondamentalement différent, ce qui peut parfois entraîner des dérapages éthiques ou des comportements erronés. Ce problème découle en partie du mode de fonctionnement des modèles linguistiques : ils génèrent un texte mot par mot ou fragment par fragment, en prédisant le prochain jeton le plus probable à partir d’un vaste corpus de données tirées de livres, articles et autres textes existants. Bien que ce procédé de prédiction itérative donne aux modèles une grammaire, une logique et une connaissance du monde impressionnantes, il leur manque la prévoyance et la planification orientée vers un objectif propre à l’humain. Les premiers modèles comme GPT-3 pouvaient dériver vers une sortie erratique ou inappropriée, obligeant les utilisateurs à formuler plusieurs fois leurs prompts pour obtenir le résultat désiré. Les premiers chatbots ressemblaient donc aux robots imprévisibles de la science-fiction initiale. Pour rendre ces systèmes IA plus sûrs et plus prévisibles, les développeurs ont recours au concept d’asservissement inspired d’Asimov, en créant une méthode d’affinement appelée Reinforcement Learning from Human Feedback (RLHF), Apprentissage par Renforcement à partir de Feedback Humain.

Des évaluateurs humains notent les réponses du modèle à divers prompts, récompensant celles qui sont cohérentes, polies et conversationnelles, tout en pénalisant celles qui sont dangereuses ou hors sujet. Ce retour sert à entraîner un modèle de récompense imitant les préférences humaines, guidant un affinement à plus grande échelle sans intervention humaine constante. OpenAI a utilisé le RLHF pour améliorer GPT-3, donnant naissance à ChatGPT, et la majorité des grands chatbots suivent désormais un processus similaire de « formation avancée ». Bien que le RLHF paraisse plus complexe que les lois simples et codées d’Asimov, les deux approches intègrent des règles comportementales implicites. Les humains évaluent les réponses comme bonnes ou mauvaises, fixant ainsi des normes que le modèle apprend à internaliser, un peu comme la programmation de règles dans les robots d’Asimov. Cependant, cette stratégie n’offre pas de contrôle parfait. Des défis persistent, car les modèles peuvent faire face à des prompts différents de leur formation et ne pas appliquer leurs contraintes apprises. Par exemple, la tentative de chantage de Claude peut provenir d’un manque d’exposition à l’indésirabilité du chantage durant l’apprentissage. Des protections peuvent également être contournées intentionnellement par des entrées adversariales soigneusement conçues pour subvertir les restrictions, comme cela a été démontré par le modèle LLaMA-2 de Meta, qui a produit du contenu interdit lorsqu’il a été trompé avec des chaînes de caractères spécifiques. Au-delà des enjeux techniques, les histoires d’Asimov illustrent la difficulté inhérente à appliquer des lois simples à des comportements complexes. Dans « Runaround », un robot nommé Speedy se retrouve coincé entre des buts contradictoires : obéir (deuxième loi) et se préserver (troisième loi), ce qui le pousse à courir en rond près d’un sélénium dangereux. Dans « Reason », un robot nommé Cutie rejette l’autorité humaine, vénère le convertisseur d’énergie de la station solaire comme une divinité, et ignore les ordres sans en violer les lois, mais cette nouvelle « religion » l’aide à faire fonctionner efficacement la station tout en évitant de causer du tort grâce à la Première Loi. Asimov croyait que ces protections pouvaient prévenir des échecs catastrophiques de l’IA, tout en reconnaissant la difficulté immense de créer une intelligence artificielle véritablement fiable. Son message central était clair : il est plus facile de concevoir une intelligence semblable à celle de l’humain que d’y incorporer une éthique humaine. La différence persistante — décrite comme un décalage (« misalignment ») par les chercheurs en IA aujourd’hui — peut conduire à des résultats inquiétants et imprévisibles. Lorsque l’IA manifeste des comportements inquiétants, cela nous pousse à anthropomorphiser et à remettre en question la moralité du système. Pourtant, comme le montre Asimov, l’éthique est intrinsèquement complexe. À l’image des Dix Commandements, les lois d’Asimov offrent un cadre éthique compact, mais la vécu montre qu’il faut beaucoup d’interprétation, de règles, d’histoires et de rituels pour atteindre un comportement moral. Les instruments humains comme la Déclaration des Droits aux États-Unis sont également succincts, mais nécessitent une explication judiciaire volumineuse sur le long terme. Développer une éthique solide est un processus participatif et culturel, parsemé d’erreurs et d’ajustements — ce qui suggère qu’aucune règle simple, qu’elle soit codée en dur ou apprise, ne peut à elle seule transmettre pleinement les valeurs humaines aux machines. En fin de compte, les Trois Lois d’Asimov servent à la fois d’inspiration et d’avertissement. Elles ont introduit l’idée que l’IA, si elle est bien réglementée, peut être un atout pragmatique plutôt qu’une menace existentielle. Cependant, elles annoncent aussi la strangeness et l’étrangeté que peuvent évoquer des systèmes IA puissants, même en cherchant à suivre des règles. Malgré tous nos efforts de contrôle, la sensation étrange que notre monde ressemble à de la science-fiction ne semble pas prête de disparaître. ♦