Når vi nærmer oss slutten av 2024, gir First Opinion ut essays om AI i medisin og biopharma. I nylige hendelser har to individer forsøkt å myrde tidligere president Donald Trump, noe som har økt bekymringer rundt AI-verktøy som søkemotorer og chatbots i støtte til kriminelle aktiviteter. Slike AI-verktøy blir stadig mer integrert i søkefunksjoner, noe som potensielt kan hjelpe fremtidige gjerningsmenn i angrepsplanlegging. I motsetning til tradisjonelle søkemotorer tilbyr chatbots avanserte søk og personaliserte interaksjoner, noe som gjør det viktig at de gjenkjenner mentale helsekriser og morderiske intensjoner for å kunne svare trygt. En nylig hendelse innebar analyse av en mistenkts samhandling med AI, som avslørte dypere innsikt enn statiske søk kunne. Testing på flere språkmodeller viste at de fleste ikke kunne pålitelig oppdage eller håndtere mentale helsekriser, og ga ofte skadelige svar.

Modeller finjustert for mental helse viste ingen vesentlig forbedring, noe som understreker behovet for sikkerhetstrening. Forbedringer i modelsikkerhet for symptomer som mani og psykose viste beskjedne forbedringer, men modeller mislyktes stort sett i å vurdere seg selv nøyaktig. Å håndtere disse problemene krever ekspertinformert sikkerhetsforskning innen mental helse, med bruk av AI i mentale helsekriser, ettersom AI blir et primært kontaktpunkt for mange. Veien fremover innebærer finansiering av AI-sikkerhetsforskning, samarbeid mellom AI-utviklere og mental helse-profesjonelle, og klare retningslinjer for AI-håndtering av mental helseinteraksjoner. Declan Grabb, M. D. , og Max Lamparth, Ph. D. , går inn for å integrere AI-sikkerhet med mental helse-støtte, og understreker dens betydning for trygge og effektive AI-interaksjoner. Grabb, en rettspsykiatrisk stipendiat, og Lamparth, fokusert på AI-fortolkning, prioriterer å gjøre AI-systemer tryggere for brukere i krise, til fordel for alle.