Un estudi recent de Renee DiResta i Josh A. Goldstein destaca l’ús creixent de la intel·ligència artificial (IA) en estafes i spam en línia, especialment a Facebook. La seva investigació revela que els piratetes exploten cada vegada més imatges generades per IA per captar l’atenció dels usuaris, augmentant l’eficàcia de tàctiques enganyoses. Això posa de manifest les preocupacions sobre la doble utilitat de la IA, que, tot i ser innovadora i beneficiosa, també pot ser malintencionadament malversa, fent crida a una major transparència i regulació en els espais digitals. L’estudi se centra en eines de generació d’imatges amb IA com DALL-E i Midjourney, utilitzades pels malfactors per crear imatges visualment atractives que impliquen els usuaris a les xarxes socials. Aquestes imatges apareixen en publicacions, anuncis i altres continguts destinats a enganyar o confondre. Gràcies a la seva capacitat de produir ràpidament visuals diversos i d’alta qualitat a partir de descricions textuals, aquestes eines d’IA ajuden els estafadors a dissenyar contingut que sembla legítim o atrapar l’atenció, augmentant la interacció dels usuaris sense revelar la seva origen artificial. DALL-E i Midjourney, entre els generadors d’imatges amb IA més avançats, van ser inicialment dissenyats per a finalitats creatives i artístiques.

No obstant això, l’ús no intencionat en pràctiques enganyoses a les xarxes socials mostra els desafiaments que planteja la doble utilitat de la tecnologia per a la seguretat digital i la seguretat dels usuaris. L’informe de DiResta i Goldstein destaca una qüestió crucial dins l’evolució de les xarxes socials: plataformes com Facebook acullen un volum immens de contingut generat pels mateixos usuaris, però la presència d’imatges generades per IA sense una divulgació clara de l’origen complica la verificació del contingut. Aquesta manca de paternitat—saber on i com s’ha creat el contingut—fa difícil que tant els usuaris com els moderadors distingeixin entre material autèntic i artificial, veritable i enganyós. Les implicacions són importants. A mesura que les imatges generades per IA són més convinents i accessibles, els actors malintencionats poden fer-les servir per difondre desinformació, cometre frau o realitzar actes il·legals, com crear anuncis falsos que promocionen productes inexistents o fabricar perfils amb imatges d’IA per manipular els usuaris. Per fer front a aquests desafiaments, l’estudi destaca la necessitat urgent d’augmentar la transparència i establir estàndards de paternitat clarament definits en les xarxes socials. La implementació de mecanismes sòlids per rastrejar l’origen del contingut digital i etiquetar clarament els materials generats per IA ajudaria els usuaris a prendre decisions informades i reduiria l’engany. A més, DiResta i Goldstein advocen per la col·laboració entre els desenvolupadors de tecnologia, les empreses de xarxes socials, els responsables polítics i els investigadors per desenvolupar directrius i eines que detectin i mitiguen l’ús indegut d’imatges generades per IA. Aquesta col·laboració és essencial per protegir la confiança dels usuaris i per evitar l’aprofitament maliciós de les tecnologies emergents. La seva recerca, accessible a la plataforma arXiv, contribueix a la bibliografia creixent sobre IA, xarxes socials i seguretat digital, posant de manifest les complexitats quan el contingut generat per IA esdevé part integral de la comunicació en línia. En resum, tot i que les eines de generació d’imatges amb IA com DALL-E i Midjourney ofereixen oportunitats creatives emocionants, el seu mal ús per part de estafadors a plataformes com Facebook genera preocupacions crítiques. La recerca de més transparència, el seguiment de l’origen i el desenvolupament de polítiques proactives són essencials per protegir l’entorn digital i assegurar que els avenços tecnològics millorïn, en lloc de danyar, la confiança i la seguretat dels usuaris.