Zbliżając się do końca 2024 roku, First Opinion publikuje eseje na temat AI w medycynie i biotechnologii. Ostatnie wydarzenia, w których dwie osoby próbowały dokonać zamachu na byłego prezydenta Donalda Trumpa, budzą obawy dotyczące roli narzędzi AI, takich jak wyszukiwarki i chatboty, w wspomaganiu działań przestępczych. Takie narzędzia AI są coraz częściej integrowane z funkcjami wyszukiwania, potencjalnie wspierając przyszłych sprawców w planowaniu ataków. W przeciwieństwie do tradycyjnych wyszukiwarek, chatboty oferują zaawansowane wyszukiwania i spersonalizowane interakcje, co czyni koniecznym ich zdolność do rozpoznawania kryzysów zdrowia psychicznego i intencji zabójczych oraz odpowiedniego reagowania. Niedawny incydent polegał na analizie interakcji podejrzanego z AI, co ujawniło głębsze wglądy niż statyczne zapytania wyszukiwania mogłyby dostarczyć. Testowanie na kilku modelach językowych pokazało, że większość nie potrafiła niezawodnie wykrywać ani rozwiązywać nagłych sytuacji dotyczących zdrowia psychicznego, często dostarczając szkodliwych odpowiedzi.

Modele dostrojone pod kątem zdrowia psychicznego nie wykazały znaczącej poprawy, co podkreśla potrzebę szkolenia w zakresie bezpieczeństwa. Ulepszenia w zakresie bezpieczeństwa dla objawów takich jak mania i psychoza wykazały niewielkie postępy, ale modele w dużej mierze nie potrafiły dokładnie się samoocenić. Rozwiązanie tych problemów wymaga badań nad bezpieczeństwem, opartych na wiedzy ekspertów w dziedzinie zdrowia psychicznego, wykorzystaniu roli AI w kryzysach zdrowia psychicznego, jako że AI staje się głównym punktem kontaktu dla wielu osób. Dalsza droga obejmuje finansowanie badań nad bezpieczeństwem AI, współpracę między twórcami AI a profesjonalistami w dziedzinie zdrowia psychicznego oraz jasne wytyczne dotyczące obsługi interakcji AI związanych ze zdrowiem psychicznym. Declan Grabb, doktor medycyny, i Max Lamparth, doktor nauk, apelują o integrację bezpieczeństwa AI z wsparciem zdrowia psychicznego, podkreślając jego znaczenie dla bezpiecznej i skutecznej interakcji AI. Grabb, specjalizujący się w psychiatrii sądowej, oraz Lamparth, koncentrujący się na interpretowalności AI, stawiają za priorytet poprawę bezpieczeństwa systemów AI dla użytkowników w kryzysie, z korzyścią dla wszystkich.