Дэвшилтэт хиймэл оюун ухааны загварууд мэргэжлийн эмнэлгийн шалгалтуудад өндөр амжилттай оролцдог ч эмч нарт шаардлагатай нэг зүйл дээр доголдож байна: эмч, өвчтөний харилцан яриа өрнүүлж чухал эмнэлгийн мэдээлэл цуглуулж, зөв онош гаргах. Харвардын их сургуулийн Пранан Ражпуркар "Томоохон хэлний загварууд сонголттой асуултын шалгалтанд маш сайн амжилт үзүүлдэг ч, харилцааны үед, ялангуяа нээлттэй төгсгөлтэй оношилгооны асуудалд тэдний нарийвчлал ихээхэн буурдаг" хэмээн онцолж байна. Судлаачид эмнэлгийн хиймэл оюун ухааны загваруудын сэтгэн бодох чадварыг шалгах арга боловсруулж, ихэнхдээ АНУ-ын эмнэлгийн зөвлөлийн шалгалтуудаас авсан 2, 000 гаруй эмнэлгийн тохиолдлоос бүрдсэн "өвчтөнүүдтэй" эмч-өвчтөний хиймэл харилцааны симуляцийг ашигласан үед энэ асуудал ил болжээ. Харвардын Шрейя Жохри, “Өвчтөнтэй харилцах байдлыг дуурайлган турших нь бидэнд чухал эмнэлгийн түүх цуглуулах чадварыг үнэлэх боломжийг олгодог бөгөөд энэ нь зөвхөн тохиолдлын товчооноос үнэлэгддэггүй” гэж хэлжээ. Шинээр боловсруулсан CRAFT-MD жишиг нь өвчтөнүүд зөв асуулт асуух хүртэл чухал мэдээллийг хуваалцахгүй байж болох бодит байдлыг илэрхийлдэг ажээ. CRAFT-MD жишиг нь хиймэл оюун ухааныг ашиглан OpenAI-ийн GPT-4-ийг "өвчтөн AI" болгон туршиж буй "эмнэлгийн AI"-тай харилцах байдлаар ашигладаг. GPT-4 мөн оношийг зөв эсэхийг тохиолдол бүрт харьцуулан үнэлгээнд тусалж, үнэн зөвийг шалгахад хүний эмнэлгийн шинжээчид эдгээр үнэлгээг бататгаж, бичилцхийг хянаж байсан байна. Судалгаанд оролцсон дөрвөн тэргүүлэх хиймэл оюун ухааны хэлний загварууд — OpenAI-ийн GPT-3. 5 болон GPT-4, Meta-ийн Llama-2-7b, Mistral AI-ийн Mistral-v2-7b — нь харилцаа-суурилсан сорилтод бичмэл тохиолдолын хураангуйгаас илүү дор үзүүлэлттэй байсан байна. OpenAI, Meta болон Mistral AI-аас ямар нэгэн тайлбар өгөхөөс татгалзжээ. Жишээлбэл, GPT-4 нь бүтэцтэй тохиолдлын хураангуй болон сонголттой хариулттай үед 82%-ийн оношилгооны нарийвчлал үзүүлсэн бөгөөд сонголтгүйгээр энэ нь 49%-аас доош буурсан байна.

Дуурайлган хийсэн өвчтөнүүдтэй харилцан ярианаас онош гаргах үед энэ нь зөвхөн 26%-д буурчээ. GPT-4 нь судалгаанд хамгийн сайн үзүүлэлт үзүүлсэн хиймэл оюун ухаан байсан ба GPT-3. 5 ихэвчлэн хоёрдугаарт, Mistral AI заримдаа хоёрдугаар байранд, Meta-ийн Llama ерөнхийдөө хамгийн доогуур үзүүлэлттэй байжээ. Хиймэл оюун ухааны загварууд мөн эмнэлгийн түүхийг бүрэн цуглуулж чадаагүй байна, харин GPT-4-ийн хувьд 71%-ийн дуурайлгасан харилцан ярианд үүнийг managing хийжээ. Харай тэр үед хүртэл зөв онош баталгаатай биш байсан байна. Эдгээр дуурайлган хийж буй харилцан ярианууд хиймэл оюун ухааны эмнэлгийн сэтгэн бодох чадварыг стандарт эмнэлгийн шалгах сорилтуудаас илүү "үнэ цэнэтэй" үнэлгээ гэж Scripps Research Translational Institute-ийн Эрик Топол тэмдэглэжээ. Гэсэн ч, хэрэв хиймэл оюун ухааны загвар энэ үзүүлэлтэнд эцэстээ тасралтгүй зөв оношилгоог хийх сайжруулалт хийсэн ч гэсэн, Ражпуркар хүний эмч нараас давахгүй гэдгийг онцолсон байна. Бодит ертөнцийн эмнэлгийн практик нь илүү нарийн бөгөөд олон өвчтөнтэй харьцан, багтай хамтран ажиллах, бие махбодийн үзлэгийг гүйцэтгэх, эрүүл мэндийн нарийн төвөгтэй нийгмийн болон системийн шалтгаануудыг ойлгох зэрэгт холбогддог байна. "Манай үзүүлэлтэнд хүчтэй үзүүлэлт үзүүлж байгаа нь хиймэл оюун ухаан эмнэлгийн ажилд хүчитгэсэн тусламжийн хэрэгсэл болж болох ч туршлагатай эмч нарын өргөн хүрээнүүдийг орлуулж чадахгүй гэдгийг харуулж байна" гэж Ражпуркар хэлсэн байна.