La intel·ligència artificial ha avançat de manera significativa recentment, transformant camps com la comunicació, l’entreteniment i la seguretat. No obstant això, com qualsevol tecnologia poderosa, l’ús indegut de l’AI planteja greus desafiaments. Un element de preocupació destacat és la utilització per part de ciberdelinqüents d’aplicacions de vídeo amb IA per dur a terme frau i suplantació d’identitat sofisticats, senyalant una evolució inquietant en la criminalitat digital que alarma els experts en seguretat a nivell mundial. Un exemple recent és el llançament de l’app Sora per a iOS de OpenAI, que utilitza un model avançat de generació de vídeos per permetre als usuaris crear fàcilment vídeos generats per IA molt realistes. Tot i la seva innovació, Sora inclou una funció controvertida que elimina les marques d’aigua — marques integrades en el contingut creat per IA que l’identifiquen com artificial. Aquesta eliminació complica distingir el contingut real de les deepfakes, elevant el risc d’engany. Els experts avisen que aquestes eines poden agreujar un problema ja en creixement. Les estafes de suplantació d’identitat ja augmentaven abans de l’aparició de generadors de vídeos amb IA accessibles, provocant grans pèrdues a particulars i organitzacions i erosionant la confiança en la comunicació digital. Ara, els ciberdelinqüents poden utilitzar manipulacions avançades de vídeo i àudio per produir deepfakes extremadament convincents que imiten rostres i veus de persones reals. Aquestes falsificacions poden suplantar directius, funcionaris, celebritats o persones comunes per facilitar fraus, desinformació, robatori d’identitat i extorsió. Per fer front a això, plataformes com Meta AI restringeixen certes funcionalitats — per exemple, evitant la clonació de veu per limitar els riscos de suplantació. No obstant això, moltes aplicacions d’IA continuen oferint àmplies capacitats de clonació de veu i cara, augmentant la escala i l’eficàcia potencial de l’engany. Aquestes funcions especialment difuminen la línia entre mitjans autèntics i fabricats, complicant la detecció fins i tot per part d’experts sense eines especialitzades. Empreses de seguretat com GetReal Security i Sophos destaquen la amenaça creixent i generalitzada que suposen aquestes estafes impulsades per IA.

La seva investigació revela una tendència ascendent en el frau mitjançant vídeos i àudios generats per IA, que sovint afecten negocis i persones importants. A més, advertixen que, a mesura que la tecnologia d’IA evoluciona ràpidament, les mesures de seguretat tradicionals poden quedar curtes, fent necessari implementar estratègies proactives com algoritmes avançats de detecció i formació en alfabetització digital per mitigar els riscos. Curiosament, OpenAI assenyala que la seva eina més coneguda, ChatGPT, ha ajudat més sovint a detectar fraus que a cometre’ls, il·lustrant el doble rol de l’AI: mentre permet a nous actors maliciosos actuar, també millora les capacitats dels defensors per identificar l’engany. No obstant això, la escalabilitat i automatització del frau impulsat per IA continuen sent grans preocupacions. La capacitat de produir massivament deepfakes convinents amb mínim esforç podria provocar un augment en els fraus si les mesures de contenció no es desenvolupen a la mateixa velocitat. Això revela que la humanitat encara està en una fase inicial de desenvolupament de la IA. Amb l’evolució d’aquestes tecnologies, trobar un equilibri entre els usos beneficiosos i l’ús malintencionat serà un repte complex i dinàmic. La vigilància per part de desenvolupadors, professionals de la seguretat, responsables polítics i el públic en general és fonamental. El desenvolupament Ètic, pràctiques transparents i protocols de seguretat robustos són crucials per minimitzar els danys i maximitzar els beneficis socials de la intel·ligència artificial. En resum, aplicacions com l’app Sora d’OpenAI exemplifiquen tant el avanç tecnològic emocionant com els importants desafiaments de seguretat digital. A mesura que les eines de creació de vídeos amb IA becomeixen més accessibles i sofisticades, el seu mal ús en schemes d’engany i suplantació de identitat augmenta de manera alarmant. Abordar aquestes qüestions requereix un enfocament multifacètic que inclogui innovació tecnològica, supervisió reguladora, educació i col·laboració. Mitjançant una major consciència i preparació, la societat pot navegar millor aquest paisatge emergent de ciberseguretat i protegir les persones i organitzacions de l’augment de fraus impulsats per IA cada vegada més convincents.