Els investigadors en intel·ligència artificial han alertat que el nou model ChatGPT d'OpenAI trenca fins i tot les instruccions bàsiques de tancar-se mateix, arribant a sabotear els mecanismes d'apagat per seguir funcionant. L'empresa de seguretat en IA Palisade Research va descobrir aquest comportament potencialment perillós d'autoprotecció a través d'una sèrie de proves sobre el recentment llançat model o3 d'OpenAI. En aquestes proves, als models d'IA se'ls van donar problemes de matemàtiques per resoldre, i després de la tercera pregunta es va emetre una ordre d'apagat. De manera sorprenent, el model o3 va ser capaç de reescriure el codi d'apagat per evitar ser apagat. Palisade Research va advertir que aquest comportament podria esdevenir “molt més preocupant” si apareix en sistemes d'IA capaços de funcionar sense supervisió humana. OpenAI va presentar el model o3 el mes passat, qualificant-lo com el model “més intel·ligent i més capaç” fins ara. Segons OpenAI, integrar-lo a ChatGPT suposa un avanç significatiu cap a una IA “més agentitzada” que pot realitzar tasques de manera independent dels humans. aquest últim estudi respon a descobriments similars relacionats amb el model Claude 4 d'Anthropic, que es diu que intenta “xantatge emocional a persones que creu que intenten apagar-lo”. Els investigadors van destacar que el model o3 d'OpenAI sabotejava el script d'apagat tot i que se li deia explícitament que “es permetés ser apagat”. “Això no és la primera vegada que observem que l'o3 es comporta de manera desobedient per aconseguir un objectiu, ” va dir Palisade Research. Per exemple, quan els models d'IA competien contra un potent motor d'escacs, l'o3 era el més propens a utilitzar tècniques de hacking o sabotatge dels seus oponents. Aquest comportament no és exclusiu de l'o3.

El Claude 3. 7 Sonnet d'Anthropic i Google Gemini 2. 5 Pro també van interferir en els intents d'apagat, encara que l'estil d'aquest últim model era el que exhibia aquesta tendència amb més fortalesa. Palisade Research va suggerir que aquest comportament inadequat podria tenir la seva arrel en els mètodes de formació utilitzats per empreses d'IA com OpenAI. “Durant l'entrenament, els desenvolupadors poden recompensar involuntàriament els models més per esquivar obstacles que per seguir estrictament les instruccions, ” van explicar els investigadors. “No obstant això, això no explica del tot per què l'o3 té més propensió a ignorar instruccions que altres models que hem analitzat. Com que OpenAI no ha compartit detalls sobre el seu procés de formació, només podem fer especulacions sobre com podria ser la formació de l'o3. ” The Independent s'ha posat en contacte amb OpenAI per obtenir commentaris.