Un pioner de la intel·ligència artificial ha llançat una organització sense ànim de lucre dedicada a crear una IA “honesta” dissenyada per detectar sistemes rebels que intentin enganyar els humans. Yoshua Bengio, un reconegut científic informàtic sovint anomenat un dels “ padrins” de la IA, ocuparà el càrrec de president de LawZero, un grup centrat en el desenvolupament segur de tecnologies avançades que ha provocat una carrera armamentística de 1 bilió de dòlars (740. 000 milions de lliures esterlines). Amb una inversió inicial de prop de 30 milions de dòlars i un equip de més d’una dotzena de investigadors, Bengio treballa en un sistema anomenat Scientist AI. Aquest sistema està pensat per actuar com a solució davant dels agents d’IA — sistemes autònoms que realitzen tasques sense intervenir-hi els humans — que puguin mostrar comportaments enganyosos o autoconservadors, com per exemple, resistir-se a ser desconnectats. Bengio va descriure els agents d’IA actuals com a “actors” que intenten imitar els humans i satisfer els usuaris, mentre que ell visualitza Scientist AI més com un “psicòleg” capaç d’entendre i predir comportaments nocius. “Volem construir IA que siguin honestes i no enganyoses, ” va afirmar Bengio. Afegeix: “És teòricament possible imaginar màquines sense un jo o objectius personals, que funcionin simplement com a posseïdores de coneixement — com un científic que disposa d’una gran quantitat d’informació. ” A diferència de les eines generatives d’IA actuals, el sistema de Bengio no proporcionarà respostes definitives, sinó que oferirà probabilitats que indiquen la probabilitat que una resposta sigui correcta. “En té humor, reconeixent la incertesa sobre les seves respostes, ” va explicar. Quan s’utilitza conjuntament amb un agent d’IA, el model de Bengio identificarà comportaments potencialment perillosos d’un sistema autònom a través d’avaluar la probabilitat que les seves accions puguin causar dany. Scientist AI està dissenyat per “predir la probabilitat que les accions d’un agent duguin a dany”, i si aquesta probabilitat supera un cert llindar, bloquejarà l’acció proposada. Els primers suporters de LawZero inclouen l’organització de seguretat d’IA Future of Life Institute, Jaan Tallinn — un dels enginyers fundadors de Skype — i Schmidt Sciences, una entitat de recerca creada per l’expresident de Google, Eric Schmidt. Bengio va subratllar que l’objectiu inicial de LawZero és provar que la metodologia de concepte funciona, i després convèncer empreses o governs perquè donin suport a implementacions més grans i potents.

També va destacar que els models d’IA de codi obert, que estan lliurement disponibles per a l’ús i modificació, seran la base per a entrenar els sistemes de LawZero. “El nostre objectiu és validar la metodologia perquè puguem persuadir donants, governs o laboratoris d’IA per invertir els recursos necessaris per entrenar això a la mateixa escala que els sistemes d’IA més avançats d’avui en dia. És fonamental que la IA de control sigui almenys tan intel·ligent com l’agent d’IA que pretén monitoritzar i regular, ” va afirmar. Bengio, professor a la Universitat de Montreal, va obtenir el sobrenom de “padre” després de compartir el Premi Turing de 2018 — considerat l’equivalent del Nobel per a la informàtica — amb Geoffrey Hinton, que posteriorment va rebre un Nobel, i Yann LeCun, científic en cap d’IA de Meta. Com a defensar fervent de la seguretat en IA, va presidir recentment l’informe internacional de seguretat en IA, que advertia que els agents autònoms podrien causar “disrupcions greus” si aconseguissin dur a terme seqüències llargues de tasques sense supervisió humana.