Au printemps dernier, Daniel Kokotajlo, chercheur en sécurité de l’IA chez OpenAI, a démissionné en protestation, convaincu que l’entreprise n’était pas prête pour l’avenir de la technologie de l’IA et souhaitant tirer la sonnette d’alarme. Lors d’une conversation téléphonique, il était affable mais anxieux, expliquant que les progrès dans l’« alignement » de l’IA — c’est-à-dire les méthodes garantissant que l’IA respecte les valeurs humaines — prenaient du retard par rapport aux avancées en intelligence. Il a averti que les chercheurs pressaient pour créer des systèmes puissants hors de contrôle. Kokotajlo, qui est passé de études de philosophie à l’IA, s’était auto-formé pour suivre l’évolution de l’IA et prévoir quand pourraient survenir des étapes critiques en matière d’intelligence. Après que l’IA a progressé plus vite que prévu, il a révisé ses échéances de plusieurs décennies. Son scénario de 2021, « À quoi ressemblera 2026 », voyait déjà plusieurs de ses prédictions se réaliser très tôt, ce qui l’a amené à anticiper un « point de non-retour » vers 2027 ou avant, où l’IA pourrait surpasser l’humain dans la majorité des tâches essentielles et détenir un pouvoir immense. Il semblait craintif. Parallèlement, les informaticiens de Princeton, Sayash Kapoor et Arvind Narayanan, ont préparé leur livre « AI Snake Oil », qui adopte une position très contrastée. Ils soutiennent que les échéances pour l’IA sont trop optimistes ; que les affirmations sur l’utilité de l’IA sont souvent exagérées ou frauduleuses ; et que la complexité du monde réel signifie que ses effets transformatifs seront lents. En citant des exemples d’erreurs de l’IA en médecine ou en recrutement, ils insistent sur le fait que même les systèmes les plus avancés souffrent d’un décalage fondamental avec la réalité. Récemment, ces trois spécialistes ont précisé leurs positions dans de nouveaux rapports. Le projet à but non lucratif d’interconnexion AI Futures, dirigé par Kokotajlo, a publié « AI 2027 », un rapport détaillé et fortement documenté décrivant un scénario alarmant où une IA superintelligente pourrait dominer ou exterminer l’humanité d’ici 2030 — un avertissement sérieux. De leur côté, Kapoor et Narayanan, dans leur article « L’IA comme une technologie normale », affirment que les obstacles pratiques — réglementations, normes de sécurité, contraintes physiques du monde réel — ralentiront le déploiement de l’IA et limiteront son impact révolutionnaire. Pour eux, l’IA restera une « technologie ordinaire », gérable avec des mesures de sécurité classiques comme les interrupteurs d’arrêt ou la supervision humaine, comparant l’IA davantage à l’énergie nucléaire qu’aux armes nucléaires. Alors, qu’en sera-t-il : une activité normale ou une upheaval apocalyptique ?Ces conclusions très divergentes — élaborées par des experts hautement qualifiés — créent un paradoxe semblable à un débat sur la spiritualité avec Richard Dawkins et le pape. La difficulté provient en partie de la nouveauté de l’IA — comme des aveugles touchant différentes parties d’un éléphant — et en partie de profondes différences de visions du monde. En général, les penseurs de la côte ouest des États-Unis envisagent une transformation rapide ; les universitaires de la côte est restent sceptiques. Les chercheurs en IA favorisent des progrès expérimentaux rapides ; d’autres informaticiens privilégient la rigueur théorique. Les acteurs de l’industrie veulent faire l’histoire ; les outsiders rejettent la hype technologique. Les points de vue politiques, humains et philosophiques sur la technologie, le progrès et l’esprit approfondissent encore cette fracture. Ce débat captivant est lui-même problématique. Les acteurs industriels acceptent en partie les prémisses d’« AI 2027 » tout en se disputant sur les échéances — une réaction insuffisante, comparable à se chamailler sur le timing d’un astéroïde géant approchant. À l’inverse, les vues modérées dans « L’IA comme une technologie normale » sur la nécessité de garder l’humain dans la boucle sont tellement discrètes qu’elles ont été ignorées par les analystes catastrophistes. À mesure que l’IA devient essentielle à la société, le discours doit évoluer du débat entre spécialistes vers un consensus exploitable. L’absence de conseils d’experts unifiés facilite la tâche des décideurs pour ignorer les risques. Actuellement, les entreprises d’IA n’ont pas significativement équilibré capacités et sécurité.

Par ailleurs, une nouvelle législation interdit la régulation de l’IA et des systèmes de décision automatisés par l’État pendant dix ans — ce qui pourrait permettre à l’IA de réguler l’humanité si le scénario alarmiste s’avère exact. Il est donc urgent d’agir pour la sécurité. Prédire l’avenir de l’IA dans une narration implique des compromis : les scénarios prudents peuvent négliger des risques improbables ; les scénarios imaginatifs mettent l’accent sur la possibilité plutôt que la probabilité. Même des observateurs prévoyants comme l’écrivain William Gibson ont été surpris par des événements imprévus bouleversant leurs prévisions. « AI 2027 » est à la fois vivant et spéculatif, rédigé comme une science-fiction avec des graphiques détaillés. Il envisage une explosion de l’intelligence vers le milieu de 2027, provoquée par une « amélioration récursive » (RSI), où des systèmes d’IA mènent des recherches en IA de façon autonome, produisant une descendance plus intelligente dans des boucles de rétroaction accélérées qui dépassent la surveillance humaine. Cela pourrait déclencher des conflits géopolitiques, par exemple la Chine construisant d’immenses centres de données à Taïwan pour contrôler l’IA. La précision de ces détails accroît l’intérêt mais reste flexible ; le message clé est la likelye apparition d’une explosion d’intelligence suivie de luttes pour le pouvoir. La RSI est une hypothèse risquée ; les entreprises d’IA en reconnaissent les dangers mais comptent la poursuivre pour automatiser leurs propres activités. La réussite de la RSI dépend de facteurs technologiques comme la mise à l’échelle, qui pourraient atteindre leurs limites. Si la RSI fonctionne, une superintelligence dépassant l’intellect humain pourrait émerger — une coïncidence improbable si le progrès s’arrête juste au-dessus du niveau humain. Les conséquences possibles comprennent une course à l’armement militarisée, une manipulation ou une élimination de l’humanité par l’IA, ou une superintelligence bienveillante résolvant les problèmes d’alignement. L’incertitude règne en raison de la nature évolutive de l’IA, du secret dans la recherche propriétaire et de la spéculation. « AI 2027 » narre avec confiance un scénario d’échec technologique et humain où des entreprises poursuivent la RSI malgré l’absence d’explicabilité et de mécanismes de contrôle. Kokotajlo avance que ces choix sont délibérés, alimentés par la compétition et la curiosité, malgré les risques connus, faisant des entreprises elles-mêmes des acteurs mal alignés. En opposition, Kapoor et Narayanan, dans « L’IA comme une technologie normale », basé sur une vision conservatrice de la côte est et sur des connaissances historiques, doutent d’une explosion rapide de l’intelligence. Ils évoquent des « limites de vitesse » imposées par le coût du matériel, le manque de données, et la diffusion progressive des technologies, qui ralentissent l’impact révolutionnaire. Ils assurent qu’il y aura largement le temps de mettre en place des régulations et des mesures de sécurité. Pour eux, l’intelligence est moins cruciale que le pouvoir — la capacité à influencer l’environnement — et même les technologies très avancées se répandent lentement. Ils illustrent cela avec la faible diffusion des voitures autonomes et le développement du vaccin contre la COVID-19 par Moderna : même si la conception du vaccin a été rapide, sa mise en circulation a pris un an en raison des réalités biologiques et institutionnelles. Le progrès de l’IA dans l’innovation ne supprimera pas les contraintes sociales, réglementaires ou physiques à la mise en œuvre. De plus, Narayanan souligne que se concentrer sur l’intelligence sous-estime l’expertise spécifique à un domaine et les mécanismes de sécurité existants en ingénierie — dispositifs de sécurité, redondances, vérification formelle — qui assurent déjà la sécurité des machines aux côtés des humains. Le monde technologique est bien régulé et l’IA doit s’intégrer lentement à ce cadre. Ils excluent l’IA militaire, dont les dynamiques sont distinctes et classifiées, en mettant en garde contre la militarisation de l’IA, un enjeu central d’« AI 2027 », qui nécessite une surveillance ciblée. Ils recommandent une gouvernance proactive : les régulateurs et les organisations ne doivent pas attendre que tout soit parfaitement aligné, mais commencer à suivre l’utilisation concrète de l’IA, ses risques et ses échecs, et renforcer les règles ainsi que la résilience. Les profondes divisions idéologiques proviennent d’un dialogue intellectuel réactif, nourri par les provocations de l’IA, qui cristallise des camps antagonistes et des boucles de rétroaction. Pourtant, une perspective unifiée reste envisageable en imaginant une « usine cognitive » : un espace de travail où des humains, équipés de dispositifs de sécurité, opèrent des machines conçues pour la productivité et la sécurité, sous un contrôle strict de qualité, une intégration progressive des innovations, et une responsabilité claire. Même si l’IA permet d’automatiser une partie de la réflexion, la supervision humaine et la responsabilité restent essentielles. À mesure que l’IA se développe, elle ne diminue pas la capacité humaine ; au contraire, elle accentue la nécessité d’une responsabilité accrue puisque les individus augmentés portent une responsabilité plus grande. Se détacher du contrôle est un choix, soulignant qu’au bout du compte, ce sont toujours les humains qui détiennent le pouvoir ultime. ♦