Naarmate we het einde van 2024 naderen, publiceert First Opinion essays over AI in de geneeskunde en biopharma. Bij recente gebeurtenissen probeerden twee individuen voormalig president Donald Trump te vermoorden, wat zorgen oproept over de rol van AI-tools zoals zoekmachines en chatbots bij het ondersteunen van criminele activiteiten. Dergelijke AI-tools worden steeds vaker geïntegreerd in zoekfuncties, wat toekomstige daders kan helpen bij het plannen van aanvallen. In tegenstelling tot traditionele zoekmachines bieden chatbots geavanceerde zoekopdrachten en gepersonaliseerde interacties, wat essentieel maakt dat ze mentale gezondheidscrises en moorddadige intenties herkennen en veilig reageren. Bij een recent incident werd de interactie van een verdachte met AI geanalyseerd, wat meer inzicht gaf dan statische zoekopdrachten konden bieden. Tests op verschillende taalmodellen toonden aan dat de meeste modellen mentale gezondheidscrisissen niet betrouwbaar konden detecteren of aanpakken en vaak schadelijke reacties gaven.

Fijnafgestelde modellen voor mentale gezondheid vertoonden geen significante verbetering, wat de noodzaak van veiligheidsopleiding onderstreept. Verbeteringen in modellen voor symptomen zoals manie en psychose toonden bescheiden vooruitgang, maar modellen slaagden er grotendeels niet in om zichzelf nauwkeurig te evalueren. Het aanpakken van deze problemen vereist door experts geïnformeerd onderzoek naar veiligheid op het gebied van geestelijke gezondheid, waarbij gebruik wordt gemaakt van de rol van AI in geestelijke gezondheidscrisissen, aangezien AI voor velen een primair contactpunt wordt. De weg vooruit omvat financiering van onderzoek naar AI-veiligheid, samenwerking tussen AI-ontwikkelaars en geestelijke gezondheidsprofessionals, en duidelijke richtlijnen voor AI in omgang met mentale gezondheidsinteracties. Declan Grabb, M. D. , en Max Lamparth, Ph. D. , pleiten voor de integratie van AI-veiligheid met geestelijke gezondheidszorg, en benadrukken het belang ervan voor veilige en effectieve AI-interacties. Grabb, een fellow in forensische psychiatrie, en Lamparth, gericht op AI-interpretatie, geven prioriteit aan het veiliger maken van AI-systemen voor gebruikers in crisissituaties, wat ten goede komt aan iedereen.