Напредните AI модели добро се справуваат на професионалните медицински испити, но недостасуваат во клучна област за лекарите: вклучување во разговори со пациентите за да соберат витални медицински информации и да дадат точни дијагнози. Пранава Рајпуркар од Универзитетот Харвард забележува: "Додека големите јазични модели успешно поминуваат на тестови со повеќекратен избор, нивната точност значително опаѓа во динамични разговори, особено во отворено дијагностичко размислување. " Овој проблем стана очигледен кога истражувачите развија метод за оценување на размислувањето на клинички AI модел преку симулирани интеракции доктор-пациент, користејќи "пациенти" од 2000 медицински случаи, претежно од испити на медицински одбори во САД. Шреја Џохри, исто така од Харвард, вели: "Симулацијата на интеракции со пациенти ни овозможува да ги оцениме критичните вештини за собирање медицинска историја, кои не можат да се оценат само со винети од случаи. " Новиот бенчмарк, CRAFT-MD, ги одразува животните ситуации каде пациентите можеби нема да ги споделат клучните детали освен ако не бидат прашани со специфични прашања. Бенчмаркот CRAFT-MD ја користи AI, со GPT-4 на OpenAI како "пациент AI" во разговорите со тестираната "клиничка AI. " GPT-4 исто така помага во оценувањето со споредување на дијагнозата на клиничкиот AI со точниот одговор за секој случај, при што медицински експерти од луѓе ги проверуваат овие оценки и ги прегледуваат разговорите за да обезбедат точност. Експериментите открија дека четири водечки јазични модели—GPT-3. 5 и GPT-4 на OpenAI, Llama-2-7b на Meta и Mistral-v2-7b на Mistral AI—значително полошо се справија на бенчмаркот заснован на разговори отколку на писмените резимеа на случаи. OpenAI, Meta и Mistral AI одбија да коментираат. На пример, GPT-4 постигна импресивна дијагностичка точност од 82% со структурирани резимеа на случаи и одговори со повеќекратен избор, паѓајќи под 49% кога немаше опции. Неговата точност падна на само 26% при дијагноза од симулирани разговори со пациенти. GPT-4 беше AI моделот со најдобри резултати во студијата, со GPT-3. 5 често на второ место, Mistral AI понекогаш на второ или трето место, а Llama на Meta генерално на најниско место. AI моделите, исто така, често не успеваа да соберат целосни медицински истории, при што GPT-4 го постигнуваше ова во само 71% од симулираните разговори.

Дури и кога се собираа релевантни истории, точните дијагнози не беа загарантирани. Таквите симулирани разговори обезбедуваат "многу покорисна" оценка на клиничкото размислување на AI отколку стандардните медицински испити, според Ерик Топол од Институтот за транслативни истражувања Scripps. Меѓутоа, дури и ако AI моделот конечно постигне одлични резултати на овој бенчмарк, постојано давајќи точни дијагнози од разговори со пациенти, Рајпуркар забележува дека тоа нема нужно да ги надмине човечките лекари. Реалната медицинска пракса е посложена, вклучувајќи повеќе пациенти, координација на тимови, физикални прегледи и разбирање на сложените социјални и системски фактори во здравството. "Силната изведба на нашиот бенчмарк сугерира дека AI би можел да биде моќна помошна алатка за клиничка работа, но не и замена за холистичкиот суд на искусни лекари", вели Рајпуркар.