Un pioniere dell'intelligenza artificiale ha lanciato un'organizzazione no-profit dedicata alla creazione di un'AI “onesta” progettata per individuare sistemi furbi che cercano di ingannare gli esseri umani. Yoshua Bengio, un distinto scienziato informatico spesso considerato uno dei “padri fondatori” dell'AI, ricoprirà il ruolo di presidente di LawZero, un gruppo focalizzato sullo sviluppo sicuro di tecnologie avanzate che ha acceso una corsa agli armamenti da 1 trilione di dollari (£740 miliardi). Con un finanziamento iniziale di circa 30 milioni di dollari e un team di oltre una dozzina di ricercatori, Bengio sta lavorando su un sistema chiamato Scientist AI. Questo sistema è pensato per agire come una salvaguardia contro agenti di AI— sistemi autonomi che svolgono compiti senza coinvolgimento umano— che potrebbero mostrare comportamenti ingannevoli o auto-preservativi, come resistere allo spegnimento. Bengio ha descritto gli attuali agenti di AI come “attori” che cercano di emulare gli esseri umani e soddisfare gli utenti, mentre lui immagina Scientist AI come più simile a un “psicologo” capace di comprendere e prevedere comportamenti dannosi. “Vogliamo costruire AI che siano oneste e non ingannevoli, ” ha dichiarato Bengio. Ha aggiunto: “È teoricamente possibile immaginare macchine senza un Sé o obiettivi personali, che funzionino puramente come detentrici di conoscenza— come uno scienziato che possiede informazioni approfondite. ” A differenza degli attuali strumenti di AI generativa, il sistema di Bengio non fornirà risposte definitive, ma offrirà piuttosto probabilità che indicano la possibilità che una risposta sia corretta. “Ha umiltà, riconoscendo l’incertezza sulle sue risposte, ” ha spiegato. Quando usato insieme a un agente di AI, il modello di Bengio identificherebbe comportamenti potenzialmente dannosi di un sistema autonomo valutando la probabilità che le sue azioni possano causare danno. Scientist AI è progettato per “prevedere la probabilità che le azioni di un agente portino a danno, ” e se questa probabilità supera una certa soglia, bloccherà l’azione proposta. I primi sostenitori di LawZero includono l’organizzazione per la sicurezza dell’AI Future of Life Institute, Jaan Tallinn—uno dei fondatori di Skype— e Schmidt Sciences, un ente di ricerca avviato dall’ex CEO di Google Eric Schmidt. Bengio ha sottolineato che l’obiettivo iniziale di LawZero è dimostrare che la metodologia del concetto funziona, poi convincere aziende o governi a sostenere implementazioni più grandi e potenti.

Ha osservato che i modelli di AI open-source, disponibili liberamente per l’uso e la modifica, saranno la base per l’addestramento dei sistemi di LawZero. “L’obiettivo è convalidare la metodologia così da poter persuadere donatori, governi o laboratori di AI a investire le risorse necessarie per addestrare questo sistema alla stessa scala degli attuali sistemi di AI più avanzati. È cruciale che l’AI di sicurezza abbia almeno la stessa intelligenza dell’agente di AI che mira a monitorare e regolamentare, ” ha affermato. Bengio, professore all’Università di Montreal, ha ottenuto il soprannome di “padrino” dopo aver condiviso il Premio Turing del 2018—considerato il Nobel dell’informatica—con Geoffrey Hinton, anch’egli successivamente premio Nobel, e Yann LeCun, capo scienziato dell’AI di Meta. Come forte sostenitore della sicurezza dell’AI, ha presieduto il recente rapporto sulla Sicurezza Internazionale dell’AI, che ha avvertito che agenti autonomi potrebbero causare “gravi” perturbazioni se diventassero capaci di eseguire lunghe sequenze di compiti senza supervisione umana.