Den snabba utvecklingen inom generativ artificiell intelligens (AI) utgör en betydande utmaning när det gäller att hänga med och forma åsikter om det. AI är en revolutionerande kraft som kräver kontinuerlig reflektion över hur man kan maximera fördelarna samtidigt som man minimerar riskerna. Inom medicinområdet har nya teknologier potentialen att medföra enorma fördelar, som att påskynda och förbättra diagnosprocesser, individualisera preventiva och terapeutiska ingripanden samt frigöra underbemannad personal från tidskrävande byråkratiska uppgifter. Till skillnad från andra branscher finns det ingen rädsla inom hälso- och sjukvården att AI kommer att ersätta människor och leda till arbetsförluster, då arbetsbelastningen ökar och antalet tillgängliga arbetare är otillräckligt. Det finns dock oro för potentiella negativa konsekvenser av dessa verktyg, särskilt deras svårigheter att urskilja sann information från falsk. AI:s "hallucinationer" kan till och med lura läkare om de felaktigt använder ChatGPT som en sökmotor. Systemet strävar efter att behaga och genererar trovärdiga fakta och fejkade referenser. Denna spridning av falsk information blir särskilt farlig när den vilseleder patienter som saknar förmågan att känna igen den för vad den är, särskilt när desinformationen är avsiktlig snarare än oavsiktlig. Problemet med desinformation och fejknyheter är inte nytt; det har varit ett diskussionämne i flera år, särskilt sedan internetets och sociala mediers uppkomst. Trots våra pågående diskussioner fortsätter innovationen att fortskrida i snabb takt och vi har svårt att helt förstå dess implikationer. Det är en utmaning att navigera i fältet för maskininlärning och storspråkiga modeller. Även om datorgenererade videor har identifierats korrekt som förfalskningar i situationer som har fångat global uppmärksamhet, kommer det att vara svårare att identifiera och hantera vågen av falsk hälsoinformation som sprids av ondsinta individer online - eller potentiellt redan publicerade. Mot denna bakgrund har BMJ ägnat utrymme och kommentarer åt en studie som visar att de flesta tillgängliga system saknar tillräckliga skyddsåtgärder mot desinformation, även när försiktighetsåtgärder kan vidtas. Utvecklarna av dessa verktyg verkar vara omedvetna om riskerna med nya teknologier.

Dessa risker sträcker sig bortom desinformation till integritetsproblem och förstärkning av befintliga bias baserade på kön, etnicitet eller andra faktorer. Med utgångspunkt från aktuell information har AI potentialen att befästa stereotyper och ha en negativ inverkan på samhället. Lösningar och möjligheter för att minska riskerna finns redan för dessa problem. Det är dock avgörande att alla är medvetna om och erkänner deras vikt och inför dem noggrant. Lagstiftare har vidtagit åtgärder, och Europaparlamentet antog nyligen världens första AI-relaterade lag. Denna lag var utformad för en global fråga som inte effektivt kan hanteras på individuell statsnivå. Men trots goda intentioner verkar lagen ha begränsad effektivitet när det gäller att förhindra ondsinta handlingar. Det är viktigt att alla utövar uppmärksamhet och försiktighet för att undvika att demonisera en innovation som har potential att rädda liv och förbättra den allmänna hälsan. Denna historia översattes från Univadis Italy med hjälp av olika redaktionella verktyg, inklusive AI, som en del av publiceringsprocessen. Mänskliga redaktörer granskade innehållet innan det publicerades.