Zaawansowane modele AI radzą sobie dobrze na profesjonalnych egzaminach medycznych, ale mają braki w kluczowym obszarze dla lekarzy: prowadzeniu rozmów z pacjentami w celu zebrania istotnych informacji medycznych i dostarczania dokładnych diagnoz. Pranav Rajpurkar z Uniwersytetu Harvarda zauważa: "Chociaż duże modele językowe świetnie radzą sobie z testami wielokrotnego wyboru, ich dokładność znacznie spada w dynamicznych rozmowach, zwłaszcza w przypadku otwartego rozumowania diagnostycznego. " Problem ten stał się jasny, gdy naukowcy opracowali metodę oceny umiejętności rozumowania modelu AI w medycynie poprzez symulowane interakcje lekarza z pacjentem, wykorzystując "pacjentów" z 2000 przypadków medycznych, głównie z amerykańskich egzaminów medycznych. Shreya Johri, również z Harvardu, mówi: "Symulowanie interakcji z pacjentami pozwala ocenić istotne umiejętności zbierania wywiadu medycznego, czego nie można ocenić tylko na podstawie opisów przypadków. " Nowy benchmark, CRAFT-MD, odzwierciedla rzeczywiste scenariusze, w których pacjenci mogą nie zdradzić istotnych szczegółów, o ile nie zostaną zapytani o nie konkretne pytania. Benchmark CRAFT-MD wykorzystuje AI, z GPT-4 OpenAI jako "AI pacjent" w rozmowach z testowanym "AI klinicznym". GPT-4 pomagał także w ocenie, porównując diagnozę AI z prawidłową odpowiedzią dla każdego przypadku, przy czym eksperci medyczni weryfikowali te oceny i przeglądali rozmowy, aby zapewnić dokładność. Eksperymenty wykazały, że cztery wiodące modele językowe—GPT-3. 5 i GPT-4 OpenAI, Llama-2-7b Meta i Mistral-v2-7b Mistral AI—wypadły znacznie gorzej w teście opartym na rozmowach niż na pisemnych streszczeniach przypadków. OpenAI, Meta i Mistral AI odmówili komentarza. Na przykład GPT-4 osiągnął imponującą 82% dokładność diagnostyczną przy użyciu uporządkowanych streszczeń przypadków i odpowiedzi wielokrotnego wyboru, spadając poniżej 49% bez opcji.

Jego dokładność spadła do zaledwie 26% podczas diagnozowania na podstawie symulowanych rozmów z pacjentami. GPT-4 był najlepszym modelem AI w badaniu, za nim często był GPT-3. 5, czasami Mistral AI zajmował drugie lub trzecie miejsce, a Llama Meta była na ogół najniżej. Modele AI często nie potrafiły zebrać pełnych wywiadów medycznych, a GPT-4 zrobił to w zaledwie 71% symulowanych rozmów. Nawet gdy zebrano istotne wywiady, nie gwarantowało to prawidłowych diagnoz. Takie symulowane rozmowy stanowią "znacznie bardziej użyteczną" ocenę klinicznego rozumowania AI niż standardowe egzaminy medyczne, według Erica Topola z Instytutu Badań Translacyjnych Scripps. Jednak nawet jeśli model AI ostatecznie przoduje w tym benchmarku, konsekwentnie tworząc dokładne diagnozy na podstawie rozmów z pacjentami, Rajpurkar zauważa, że niekoniecznie przewyższyłby ludzkich lekarzy. Rzeczywista praktyka medyczna jest bardziej złożona, obejmuje wielu pacjentów, koordynację zespołową, badania fizykalne i zrozumienie skomplikowanych czynników społecznych i systemowych w opiece zdrowotnej. "Dobre wyniki w naszym benchmarku sugerują, że AI może być potężnym narzędziem wspierającym pracę kliniczną—ale nie zastąpi holistycznego osądu doświadczonych lekarzy, " mówi Rajpurkar.