Gelişmiş yapay zeka modelleri, profesyonel tıp sınavlarında iyi performans gösterse de, hekimler için hayati bir alanda yetersiz kalıyor: Hayati tıbbi bilgileri toplamak ve doğru teşhisler sunmak için hasta ile etkili iletişim kurmak. Harvard Üniversitesi'nden Pranav Rajpurkar, "Büyük dil modelleri çoktan seçmeli testlerde başarılı olsalar da, dinamik konuşmalarda, özellikle açık uçlu tanısal muhakeme gerektiren durumlarda, doğrulukları önemli ölçüde düşüyor" diyor. Araştırmacılar, bir klinik yapay zeka modelinin muhakemesini, ABD tıp kurulu sınavlarına ait 2, 000 tıbbi vakadan yola çıkarak oluşturulan simüle doktor-hasta etkileşimleri üzerinden değerlendiren bir yöntem geliştirdiğinde bu sorun ortaya çıktı. Harvard'dan Shreya Johri, “Hasta etkileşimlerini simüle etmek, yalnızca vaka öyküleriyle değerlendirilemeyen kritik tıbbi öykü alma becerilerini değerlendirmemizi sağlıyor” diyor. Yeni kriter, CRAFT-MD, hastaların yalnızca belirli sorularla yönlendirilmeden önemli ayrıntıları paylaşmadığı gerçek yaşam senaryolarını yansıtıyor. CRAFT-MD kriteri, OpenAI'nin GPT-4 modelini test edilen "klinik yapay zeka" ile konuşmalarda "hasta yapay zeka" olarak kullanarak, AI'dan faydalanıyor. GPT-4, her vaka için klinik yapay zekanın teşhisini doğru cevapla karşılaştırarak derecelendirme konusunda da yardımcı oldu ve bu değerlendirmeler insan tıp uzmanları tarafından onaylanarak doğruluğu sağlamak için gözden geçirildi. Deneyler, OpenAI'nin GPT-3. 5 ve GPT-4, Meta’nın Llama-2-7b ve Mistral AI’nın Mistral-v2-7b gibi dört önde gelen dil modelinin, yazılı vaka özetlerine nazaran konuşma tabanlı kriterde önemli ölçüde daha kötü performans gösterdiğini ortaya koydu. OpenAI, Meta ve Mistral AI, yorum yapmayı reddetti. Örneğin, GPT-4 yapılandırılmış vaka özetleri ve çoktan seçmeli cevaplarla %82'lik etkileyici bir teşhis doğruluğu elde ederken, seçenekler olmadan bu oran %49'un altına düştü.

Simüle hasta konuşmalarından teşhis yapıldığında doğruluğu sadece %26'ya indi. Çalışmada en iyi performans gösteren yapay zeka GPT-4 idi; GPT-3. 5 genellikle ikinci, Mistral AI bazen ikinci ya da üçüncü, Meta’nın Llama modeli ise genelde en düşük sıradaydı. Yapay zeka modelleri aynı zamanda genellikle tam tıbbi öyküleri toplayamadı, GPT-4 bunları yalnızca simüle konuşmaların %71'inde yönetebildi. İlgili öyküler toplandığında bile doğru teşhisler garanti edilemedi. Scripps Araştırma Çeviri Enstitüsü'nden Eric Topol'a göre, bu tür simüle konuşmalar, AI klinik muhakemesinin standart tıp sınavlarına kıyasla "çok daha faydalı" bir değerlendirmesini sağlıyor. Ancak, bir yapay zeka modeli nihayetinde bu kriterde mükemmel hale gelse, hasta konuşmalarından sürekli doğru teşhisler yapsa bile, Rajpurkar bunun insan hekimlerinin yerini alacağı anlamına gelmeyeceğini belirtiyor. Gerçek dünya tıbbi uygulamaları daha karmaşıktır ve çoklu hasta, ekip koordinasyonu, fiziksel muayeneler ve sağlık hizmetlerinde karmaşık sosyal ve sistemik faktörleri anlamayı içerir. "Benchmark'ımızda güçlü bir performans, yapay zekanın klinik çalışmaları desteklemek için güçlü bir araç olabileceğini öne sürüyor—ancak deneyimli hekimlerin bütünsel muhakemesinin yerini almaz, " diyor Rajpurkar.