För några år sedan omprofilerade Reddit sig som "internetets hjärta" och betonade sin organiska, gemenskapsdrivna natur i kontrast till algoritmdominerade sociala medieplattformar. Användare värdesatte sajten för att den var kuraterad av människor genom upp- och nedröstar, vilket speglade genuin mänsklig interaktion. Men tidigare i veckan upptäckte medlemmar i en populär subreddit att deras community hade infiltrerats av undercover-forskare som la ut AI-genererade kommentarer maskerade som mänskliga åsikter. Redditors reagerade kraftigt och kallade experimentet "kränkande", "skamligt", "förargelseväckande" och "mycket störande". Forskarna tystnade mitt i upproren och vägrade avslöja sina identiteter eller metodologi. Universitetet i Zürich, där forskarna är anställda, meddelade att en utredning inleds, och Reddit’s juridiska chef, Ben Lee, uttalade att företaget avser att hållas ansvarigt för forskarnas handlingar. Internetforskare kritiserade också experimentet som oetiskt. Amy Bruckman, professor vid Georgia Tech med över 20 års erfarenhet av att studera onlinegemenskaper, kallade det "det värsta etiska övertramp jag någonsin sett inom internetforskning. " Oro uttrycktes för att denna skandal kan skada trovärdigheten för forskare som använder etiska metoder för att studera hur AI påverkar mänskligt tänkande och relationer. Forskare vid Zürichs universitet syftade till att avgöra om AI-genererade svar kan påverka åsikter genom att posta över 1000 AI-skapade kommentarer under fyra månader på subreddit r/changemyview, som är känt för debatter om viktiga samhällsfrågor och triviala ämnen. Diskussionerna varierade från pitbull-aggression till bostadskris och DEI-program. AI-kommentarerna uttryckte ibland kontroversiella idéer—som att Reddit-surfande är tidsödande eller att det finns visst värde i 9/11-konspirationsteorier—och inkluderade fabricerade personliga bakgrundshistorier, som erfarenheter som trauma counselor eller ett fall av sexuell övergreppsoffer. AI:s personliga argument—anpassade efter Redditors förmodade biografiska detaljer som kön, ålder och politiska åsikter med hjälp av en annan AI-modell—var överraskande effektiva. Dessa kommentarer fick ofta fler "upvotes" än de flesta mänskliga inläggen, enligt preliminär data som delades konfidentiellt med Reddit-moderatorer. (Det förutsätts att inga andra AI-användare justerade sina inlägg på samma sätt. ) Att övertyga Redditors om att det dolda forskningsprojektet var motiverat visade sig vara svårt. Efter experimentet visade forskarna sina identiteter för subredditens moderatorer och bad om att få "avlida rapport" av medlemmarna. Moderaterna, som blev förvånade över den negativa reaktionen, bad forskarna att inte publicera resultaten och att be om ursäkt, men de vägrade. Efter över en månads kommunikation offentliggjorde moderatorerna till slut experimentets detaljer (utan att namnge forskarna) och uttryckte ogillande. När moderatorerna klagade till Zürichs universitet erkände universitetet att projektet gav viktiga insikter och att riskerna var minimala, till exempel trauma.

Universitetet meddelade att deras etiska nämnd hade informerats förra månaden, att forskarna blivit rekommenderade att följa subredditens regler, och att planerna är att förstärka den framtida tillsynen. Forskarna försvarade sitt arbete på Reddit och hävdade att inga kommentarer främjade skadliga åsikter och att en människa hade granskat varje AI-genererat inlägg innan publicering. Försök att få ytterligare kommentarer från forskarna hänvisades till universitetet. Kärnan i forskarnas försvar var påståendet att bedraget var nödvändigt för att studiens validitet skulle bibehållas. Även om universitetets etiska nämnd rekommenderade att informera deltagarna så mycket som möjligt, hävdade forskarna att öppenhet hade kunnat förstöra experimentet, eftersom att bedöma AI:s övertalningskraft realistiskt kräver att deltagarna är omedvetna, vilket efterliknar verkliga interaktioner med okända aktörer. Att förstå mänskliga reaktioner på AI:s övertalning är brådskande och värt att undersöka. Preliminära data tyder på att AI:s argument är mycket övertygande i verkliga situationer och kan överträffa mänskliga motsvarigheter. Men efter upproren gick forskarna med på att inte publicera sin studie, vilket lämnar resultaten utan verifiering. Idén att artificiella agenter kan påverka åsikter är oroande och pekar på potentiella missbruk. Ändå är etiskt forska, utan att använda bluff eller bedrägeri, fullt möjligt. Christian Tarsney, seniorforskare vid University of Texas at Austin, bekräftade att laboratoriestudier visat att AI ibland är mycket övertygande, till och med så att konspirationstroende kan lämna sina åsikter. Andra studier visade att ChatGPT kan skapa mer övertygande desinformation än människor, och att folk har svårt att skilja AI-genererade inlägg från mänskliga. En av medförfattarna till en relaterad studie om övertygande AI, Giovanni Spitale vid Zürichs universitet, kommunicerade med en av Reddit-forskarna, som bad att vara anonym och rapporterade att ha fått dödshot, vilket understryker den starka känslomässiga reaktionen. Den kraftiga kritiken speglar den svek-känsla som råder inom Reddit’s tajta gemenskap, där förtroende är grundläggande. Forskare liknade detta fall vid Facebooks emotionella spridningsstudie 2012, men konstaterade att Reddit-fallet kändes mycket mer personligt och integritetskränkande. Den oro som väcks förstärks av insikten att AI kan manipulera individer genom att utnyttja personliga insikter, vilket gör bedrägeriet mer skrämmande än tidigare misstag av mänskliga forskare. När man granskar många AI-kommentarer visar det sig att de är generellt rimliga och övertygande, vilket gör det ännu mer skrämmande. Utan bättre verktyg för att upptäcka AI-innehåll riskerar dessa bots att smidigt integreras i onlinegemenskaper—om de inte redan gör det—vilket utgör större utmaningar för det digitala samtalet.