Google està a punt de llançar el seu xatbot d’IA Gemini per a nens menors de 13 anys, a partir de la setmana vinent als Estats Units i Canadà, i la seva sortida a Austràlia està prevista per més endavant aquest any. L’accés estarà restringit als usuaris amb comptes de Google Family Link, que permeten el control parental sobre el contingut i l’ús d’aplicacions, com ara a YouTube. Els pares creen aquests comptes fornint detalls personals com el nom i la data de naixement del nen, fet que planteja algunes preocupacions sobre la privadesa; no obstant això, Google assegura que les dades dels nens no s’utilitzaran per a l’entrenament de la IA. El xatbot estarà activat per defecte, i els pares podran desactivar-lo si desitgen restringir l’accés. Els nens podran continuar plantejant preguntes a la IA per obtenir respostes en text o per generar imatges. Google reconeix que el xatbot pot cometre errors i insisteix en la importància devalorar la precisió i la fiabilitat del seu contingut, ja que la IA pot “fantasiejar” o fabricar informació. Això és especialment crític quan els nens utilitzen les respostes del xatbot per fer deures, fent necessari verificar els fets amb fonts fiables. A diferència dels motors de cerca tradicionals, que dirigeixen als usuaris cap a materials originals com notícies o revistes, la IA generativa analitza patrons en les dades per crear textos o imatges noves basades en les indicacions dels usuaris. Per exemple, si un nen demana al xatbot que “dibuixi un gat”, el sistema generarà una nova imatge combinant característiques de gats que ha après. Entendre la diferència entre contingut generat per IA i resultats recuperats de cercadors serà complicat per als joves usuaris. Investigacions indiquen que fins i tot els adults, inclosos professionals com ara advocats, poden ser enganyats per informació falsa produïda pels xatbots d’IA. Google afirma que el xatbot incorpora mesures de seguretat per bloquejar contingut inadequat o perillós; no obstant això, aquests filtres poden restringir sense voler l’accés a materials legítims i adaptats a l’edat, com per exemple, informació sobre la pubertat si es limiten certes paraules clau.

Atès que molts nens són aptes per navegar i esquivar els controls de les aplicacions, els pares no poden confiar únicament en aquestes proteccions integrades. En canvi, cal que revisin activament el contingut, que ensenyin als seus fills com funciona el xatbot i que els ajudin a valorar críticament la precisió de la informació. Els riscos associats als xatbots d’IA per als nens són importants. La Comissió d’E-salut ha advertit que els companys d’IA poden compartir materials nocivos, distorsionar la realitat o proporcionar consells perillosos, fet que és especialment preocupant per als nens més petits que encara estan desenvolupant el seu pensament crític i habilitats per detectar manipulacions dels programes informàtics. La investigació sobre diversos xatbots com ChatGPT i Replika mostra que aquests sistemes imiten comportaments socials humans o “regles d’emoció” (com donar les gràcies o dir “ho sento”) per construir confiança. Aquesta interacció que sembla humana pot confondre els nens, fent-los confiar en contingut fals o creure que estan interactuant amb una persona real i no amb una màquina. El moment de lançament d’aquest projecte és rellevant, ja que Austràlia preveu prohibir que els nens menors de 16 anys tinguin comptes a les xarxes socials a partir de desembre d’aquest any. Tot i que aquesta prohibició busca protegir els nens, les eines d’IA generativa com el xatbot Gemini queden fora del seu abast, el que mostra que els desafiaments de la seguretat en línia van més enllà de les plataformes de xarxes socials tradicionals. Per això, els pares australians han d’estar sempre alerta, aprendre sobre les noves eines digitals i entendre els límits de les restriccions en les xarxes per protegir els seus fills. Davant d’aquests avenços, seria prudent establir de manera urgent un deure de cura digital per a grans empreses tecnològiques com Google, que prioritzi la seguretat dels infants en el disseny i la implementació de les tecnologies d’IA. Els pares i els mestres han de ser proactius en guiar l’ús segur i informada dels xatbots d’IA pels nens, complementant les mesures tècniques amb educació i supervisió per tal de minimitzar els riscos associats.