उन्नत AI मॉडेल्स व्यावसायिक वैद्यकीय परीक्षांमध्ये चांगली कामगिरी करतात, परंतु डॉक्टर्ससाठी महत्त्वाच्या क्षेत्रात कमी पडतात: रुग्णांशी संभाषण करताना जीवनावश्यक वैद्यकीय माहिती गोळा करणे आणि अचूक निदान करून देणे. हार्वर्ड विद्यापीठातील प्रणव राजपूतकर म्हणतात, "मोठ्या भाषिक मॉडेल्स विविध पर्यायी प्रश्नांच्या चाचण्यांमध्ये उत्तम कामगिरी करतात, पण त्यांची अचूकता गतिशील संभाषणांमध्ये लक्षणीयरीत्या कमी होते, विशेषतः मुक्त निदानात्मक विचारविन्यासात अडचण होते. " हा मुद्दा स्पष्ट झाला, जेव्हा संशोधकांनी एक आधुनिक वैद्यकीय AI मॉडेलची विचार करण्याची क्षमता डॉक्टर-रुग्ण संवादाद्वारे मूल्यमापन करण्याची पद्धत निर्माण केली, यामध्ये "रुग्णांना" प्रमुखतः युनायटेड स्टेट्सच्या वैद्यकीय बोर्ड परीक्षांमधील 2, 000 वैद्यकीय प्रकरणांतून निवडण्यात आले. हार्वर्डमधील श्रेया जोहरी सांगतात, "रुग्ण संवाद सादर करणे आम्हाला वैद्यकीय इतिहास घेण्याचे आवश्यक कौशल्य मूल्यांकन करण्यास मदत करते, जे फक्त प्रकरणांच्या वर्णनांनी तपासल्या जाऊ शकत नाहीत. " नवीन बेंचमार्क, CRAFT-MD, वास्तविक जीवनातील परिस्थिती दर्शवते जिथे रुग्ण महत्वपूर्ण तपशील शेअर करत नाहीत जोपर्यंत त्यांना विशिष्ट प्रश्न विचारले जात नाहीत. CRAFT-MD बेंचमार्क AI चा वापर करतो, ज्यात OpenAI च्या GPT-4 ने "रुग्ण AI" म्हणून संभाषणात सहभाग घेतला आणि परीक्षित "क्लिनिकल AI" सोबत संवाद झाला. GPT-4 ने हि गुणवत्ता परीक्षणासाठी मदत केली, जिथे क्लिनिकल AI च्या निदानाची बरोबर उत्तरांशी तुलना केली गेली, मानवी वैद्यकीय तज्ञांनी या मूल्यमापनांचे सत्यापन केले आणि खात्रीशीर झाल्याने समालोचनांचे पुनरावलोकन केले. प्रयोगांनी उघड केले की चार आघाडीच्या भाषिक मॉडेल्स—OpenAI चे GPT-3. 5 आणि GPT-4, Meta चा Llama-2-7b, आणि Mistral AI चा Mistral-v2-7b—संवाद आधारित बेंचमार्कवर लिखित केस सारांशांच्या तुलनेत अत्यंत खराब कामगिरी केली. OpenAI, Meta, आणि Mistral AI यांनी टिप्पणी देण्यास नकार दिला. उदाहरणार्थ, GPT-4 ने संरचित केस सारांश आणि बहुपर्यायी उत्तरांसह 82% निदानाची अचूकता मिळवली, ज्याचे पर्याय नव्हते तेव्हा 49% पेक्षा कमी झाली.

त्याची अचूकता केवळ 26% राहिली जेव्हा ते सिम्युलेटेड रुग्ण संभाषणांमधून निदान करत होते. अभ्यासामध्ये GPT-4 हा सर्वोच्च कामगिरी करणारा AI होता, GPT-3. 5 अनेकदा दुसऱ्या स्थानी, Mistral AI कधी दुसऱ्या किंवा तिसऱ्या स्थानी आणि Meta चा Llama साधारणतः खालच्या स्थानी होता. AI मॉडेल्स पूर्ण वैद्यकीय इतिहास गोळा करण्यातही कमी पडले, GPT-4 ने सिम्युलेटेड संभाषणांमध्ये हे केवळ 71% वेळा साध्य केले. जरी संबंधित इतिहास गोळा केले तरी, बरोबर निदान हमखास नव्हते. अशा सिम्युलेटेड संभाषणांनी "स्त्रुत्यंतर सहायक" मूल्यांकन केले आहे, AI क्लिनिकल विचार करण्याची क्षमता मानक वैद्यकीय परीक्षांच्या तुलनेत, एरिक टोपोल ऑफ द स्क्रिप्स रिसर्च ट्रान्सलेशनल इंस्टिट्यूट म्हणतात. तथापि, एक AI मॉडल अखेरीस या बेंचमार्कमध्ये उजवतो, रुग्ण संभाषणांमधून साहित्यिक करतानाही, राजपूतकर म्हणतात की असे निदान करतानाही मानवी चिकित्सकांना मात मिळणार नाही. खरेदी वैद्यकीय व्यवहार अधिक जटील आहे, ज्यात अनेक रुग्ण, संघाचे समन्वय, शारीरिक परीक्षणे आणि आरोग्यसेवेमध्ये गुंतलेल्या जटील सामाजिक आणि प्रणालीक घटकांचा समावेश होतो. "आमच्या बेंचमार्कवर चांगली कामगिरी AI साठी चिकित्सक कार्यासाठी एक शक्तिशाली सहाय्यक साधन सूचित करते—पण अनुभवी चिकित्सा विशेषज्ञांच्या सर्वांगीण निर्णयाची जागा घेणे शक्य नाही, " राजपूतकर म्हणतात.