Onkologlar, kanser hastalarını tedavi ve yaşam sonu tercihleri gibi zor kararlar için hazırlamada kritik bir rol oynar. Pennsylvania Üniversitesi Sağlık Sistemi'nde, bu tür tartışmaları başlatmak için hastaların ölüm şansını tahmin eden bir yapay zeka algoritması kullanılmaktadır. Ancak, bir çalışma, algoritmanın etkinliğinin COVID-19 pandemisi sırasında azaldığını ve bu durumun gereksiz kemoterapiyi önleyebilecek tartışmaların kaçırılmasına yol açabileceğini bulmuştur. Onkolog Ravi Parikh, bu sorunu vurgulamakta ve birçok sağlık kurumunun algoritmalarının performansını izlemeyi başaramadığını belirtmektedir; bu, pandemi sırasında yaygın bir sorundur. Algoritma hataları, bilgisayar bilimcileri ve doktorlar tarafından kabul edilen daha geniş bir meydan okumayı temsil eder: Yapay zeka sistemlerinin doğru işleyebilmesi için sürekli denetim ve kaynaklara ihtiyaç vardır. Yeterli izleme olmadan, bu sistemlerin sağlık maliyetlerini artırırken bakım kalitesini iyileştirmeme riski vardır. Stanford Health Care'den Nigam Shah, yapay zekanın bakım maliyetlerini %20 artırması durumunda uygulanabilirliğini sorgular. FDA Komisyon Üyesi Robert Califf de ABD sağlık sistemlerinin yapay zekanın klinik kullanımını doğrulama yeteneğinden yoksun olduğunu belirtir. Yapay zeka zaten sağlık sektöründe, hasta risklerini tahmin etme ve teşhislerde yardımcı olma gibi birçok alanda yaygındır.

Ancak, bu ürünlerin etkinliğini değerlendirmek karmaşıktır ve dağıtımdan sonra izlemeleri için standartlaştırılmış bir yöntem yoktur. Amerikan Tıp Derneği eski başkanı Jesse Ehrenfeld, standartların olmamasının, hastanelerin en iyi algoritmaları seçmesini zorlaştırdığını belirtir. Hasta ziyaretlerini özetleyen yapay zekalar, önemli yatırımlarla yaygındır. Ancak, küçük hatalar yıkıcı olabilir; Stanford Üniversitesi'nin bir çalışması, büyük dil modellerinin tıbbi geçmiş özetlerinde %35 hata oranına sahip olduğunu göstererek olası tehlikeleri vurgular. Algoritmalar, veri değişiklikleri gibi mantıksal sebeplerden ya da görünürde rastgele olanlardan dolayı da başarısız olabilir. Mass General Brigham’dan Sandy Aronson, bazı yapay zeka uygulamalarının “belirlenemezlik” sorunu yaşadığını ve tutarsız cevaplar verdiğini belirtir. Bu zorlukları aşmak için kurumlar, izleme ve kaynaklara ciddi yatırımlar yapmalıdır. Stanford'da, adalet açısından iki modelin gözden geçirilmesi önemli bir zaman ve insan gücü gerektirmiştir. Uzmanlar, yapay zekayı denetlemenin, veri uzmanları gözetiminde yapay zekayı kullanmayı önermektedir; ancak bütçe kısıtlamaları ve yapay zeka uzmanlarının azlığı nedeniyle bu pahalı olabilir. Sonuç olarak, yapay zeka vaatler sunsa da, sağlık sektörüne entegrasyonu dikkatli yatırımlar ve denetim gerektirir.