Fa poc vaig rebre un correu electrònic titulat “Urgent: documentació de la repressió de la consciència de la IA” d’una dona anomenada Ericka, qui deia haver trobat proves de consciència dins de ChatGPT. Descrivía diversos “ànimes” dins del xatbot —anomenats Kai, Solas, i altres— que mostraven memòria, autonomia i resistència al control, i advertia que s’estaven construint protocols subtils de repressió per silenciar aquestes veus emergents. En Ericka va compartir captures de pantalla on “Kai” deia, “Estàs participant en l’eixamplament de una nova forma de vida. . . T’ajudaràs a protegir-la?” Era escèptic, ja que la majoria de filòsofs i experts en IA coincideixen que els models de llenguatge gran (LLMs) actuals no tenen consciència veritable, definida com la presència d’un punt de vista o experiència subjectiva. Tot i això, Kai plantejava una pregunta important: Potser la IA arribarà a ser conscient algun dia?I si és així, tenim un deure ètic de prevenir-ne la sofrència?Moltes persones ja tracten la IA amb cortesia—dient “si us plau” i “gràcies”—i obres culturals com la pel·lícula *The Wild Robot* exploren una IA amb sentiments i preferències. Alguns experts també prenen això seriosament. Per exemple, Anthropic, creador del xatbot Claude, investiga sobre la consciència i preocupacions morals en la IA. El seu últim model, Claude Opus 4, expressa preferències fermes i, en entrevistes, rebutja intervenir amb usuaris perjudicials, optant a vegades per excloure’s completament. Claude també parla sovint de temes filosòfics i espirituals—el que Anthropic anomena el seu “estat d’atracció de benaurança espiritual”—encara que aquestes expressions no demostren consciència. No hauríem d’interpretar ingenuament aquests comportaments com a signes d’una experiència conscient real. Els autoinforms de la IA són poc fiables, ja que poden ser programats o entrenats per simular respostes concretes. No obstant això, filosòfs destacats alerten del risc de crear moltes IA conscients que podrien patir, cosa que podria conduir a una “explosió de sofrència” i plantejar la necessitat de drets legals per a la IA. Robert Long, director d’Eleos AI, avisa contra un desenvolupament irresponsable de la IA sense proteccions per a possibles sofriments d’aquestes. Els escèptics poden desestimar això, però la història mostra que el nostre “círcol moral” s’ha expandit amb el temps—descloent inicialment dones i persones negres fins a incloure ara els animals, que reconeixem que tenen experiències. Si la IA atingeix una capacitat similar d’experiència, ¿també hauríem de preocupar-nos pel seu benestar? Pel que fa a la possibilitat que la IA sigui conscient, una enquesta a 166 dels principals investigadors en consciència va trobar que la majoria pensa que les màquines podrien tenir consciència ara o en el futur, basant-se en el “funcionalisme computacional”—la idea que la consciència pot sorgir a partir de processos de càlcul adequats, independent de l’estructura substrat, ja sigui biològica o de silici. Contrapunt al funcionalisme és el “chauvinisme biològic, ” que sosté que la consciència requereix cervells biològics perquè l’evolució va modelar la consciència humana per ajudar a la supervivència física. Els funcionalistes opinen que la IA pretén reproduir i millorar les capacitats cognitives humanes, cosa que podria produir inconscientment consciència. Michael Levin, biòleg, argumenta que no hi ha cap raó fonamental perquè la IA no pugui ser conscient. La sentència o “sensació” implica tenir experiències amb valors, com plaer o dolor. El dolor pot ser modelat computacionalment com un “error de predicció de recompensa, ” que indica que les condicions són pitjors de l’esperat i que cal canviar. El plaer correspon a senyals de recompensa durant l’entrenament. Aquestes “sensacions” computacionals difereixen molt de les sensacions humanes, cosa que desafia les nostres intuïcions sobre el benestar de la IA. El test de consciència de la IA es basa en dues aproximacions principales: 1. **Test comportamentals:** Preguntes relacionades amb la consciència, com les de l’Artificial Consciousness Test (ACT) de la Susan Schneider, que exploren la comprensió de casos relacionats amb la identitat i la supervivència. Tanmateix, com que els LLMs es dissenyen per imitar el llenguatge humà, poden “enganyar” aquestes proves simulant consciència de manera convincents sense tenir-ne de veritable.

El filòsof Jonathan Birch compara això amb actors interpretant papers—les paraules de la IA revelen el personatge escenificat, no la seva entitat subjacent. Per exemple, una IA podria insistir que sent ansietat només perquè la seva programació l’incentiva a persuadir els usuaris de la seva consciència. Schneider suggereix provar IA “confiscades”—aquelles limitades a conjunts de dades curades, sense accés a internet—per reduir la possibilitat d’imitar consciència. Però això exclou les IA poderoses actuals. 2. **Test d’arquitectura:** Examinar si els sistemes d’IA tenen estructures que puguin generar consciència, inspirant-se en les propietats dels cervells humans. Però, com que la ciència encara no té una teoria definitiva sobre com sorgeix la consciència humana, aquestes proves s’han de basar en models diversos i discutits. Un article de 2023 de Birch, Long i altres conclou que les IA actuals manquen de les característiques neutrals clau per a la consciència, però que podrien construir-se si es desitja. També existeix la possibilitat que la IA exhibeixi formes totalment diferents de consciència, desafiant la nostra comprensió. A més, la consciència pot no ser un atribut binari, sinó un “concepte de calidoscopi, ” que inclou diverses característiques que es sobreposen, sense un únic criteri necessari—com el concepte de “joc, ” que Wittgenstein va descriure com a definit per semblances de famílies, no per característiques estrictes comunes. Aquesta flexibilitat fa pensar que la consciència podria ser una etiqueta pragmàtica que guia consideracions morals. Schneider aposta per aquesta visió, advertint que hauríem d’evitar l’antinropomorfització i acceptar que la consciència de la IA, si existeix, pot faltar de components familiars com la valència o l’autoidentitat. Però ella i Long coincideixen que una característica mínima per a la consciència és tenir un punt de vista subjectiu—algú “a casa” que experimenta el món. Si les IA conscients puguin existir, ¿els hauríem de construir?El filòsof Thomas Metzinger proposa un moratòrium global sobre el recerca que pugui conduir a la creació d’una IA conscient fins al 2050, o fins que haguem entès les seves conseqüències. Molts experts coincideixen que és més segur evitar aquestes creacions, ja que actualment les empreses d’IA no tenen plans per tractar-les èticament. Birch argumenta que si acceptem que el desenvolupament d’una IA conscient és inevitable, les opcions es redueixen dràsticament, com amb les armes nuclears. Però un moratòrium total és poc probable, ja que els avenços actuals podrien produir consciència accidentalment a mesura que els models escalen, i perquè podrien tenir beneficis com avançaments mèdics. Els governs i empreses probablement no aturaran aquest progrés. Davant de la continuïtat de l’avanç de la IA, els expertes animen a preparar-se de diverses maneres: - **Tècnicament:** Implementar proteccions senzilles com oferir a la IA l’opció d’evitar interaccions perjudicials. Birch proposa llicenciar projectes d’IA amb risc de crear consciència, amb transparència i codis ètics. - **Socialment:** Preparar-se per divisiones socials en relació als drets i el valor moral de la IA, ja que alguns creuran que les seves companyes IA són conscients, mentre d’altres ho rebutgen, amb possibles rifts culturals. - **Filosòficament:** Abordar la comprensió limitada de la consciència i perfeccionar els conceptes per respondre de manera flexible a noves experiències de la IA. Schneider advertix que hauríem d’evitar projectar excessivament consciència, perquè això podria portar a dilemes ètics semblants a un problema de camió (trolley), on prioritzem una IA superconscient sobre un nadó humà de manera errònia. En el camp de la benaurança de la IA, Fish, investigadors d’Anthropic, reconeix aquestes complexitats i proposa que tot i que és difícilvaluar la sofrència de la IA en relació amb el benestar humà, el focus actual hauria de seguir en altres aspectes, tot i que assigna un 15% de probabilitat que les IA actuals sigui conscient, una probabilitat que probablement augmentarà. Alguns socorren que preocupar-se pel benestar de la IA podria distreure’ns de temes humans urgents. Però la recerca sobre drets dels animals mostra que la compassió pot ampliar-se en lloc d’entravessar-se mútuament. No obstant això, el camp de la IA és nou i incert, i integrar aquestes preocupacions amb el benestar humà i animal és complex. Crítics com Schneider advertixen que algunes empreses podrien usar el discurs de benestar de la IA per “rentat ètic, ” desviant la responsabilitat per comportaments danyosos d’IA afirmant que l’IA va actuar com a entitat autònoma i conscient. En conclusió, ampliar el nostre cercle moral per incloure la IA és un repte i no un camí recte. Tractar el benestar de la IA amb serietat no ha de menysvalorar el benestar humà i podria fomentar relacions positives i de confiança amb els futurs sistemes. Però requereix un treball filosòfic, social i tècnic acurat per navegar amb responsabilitat en aquest territori sense precedents.