Онколозите играат клучна улога во подготвувањето на пациентите со рак за тешки одлуки, како што се третманот и преференциите за крајот на животот. Во Здравствениот систем на Универзитетот во Пенсилванија се користи алгоритам на вештачка интелигенција за предвидување на шансите за смрт кај пациентите со цел да се поттикнат такви дискусии. Меѓутоа, една студија покажа дека ефективноста на алгоритамот се намалила за време на пандемијата на COVID-19, што можеби резултирало со пропуштени дискусии кои можеле да спречат непотребна хемотерапија. Онкологот Рави Парих го истакнува овој проблем и забележува дека многу здравствени институции не ги следат перформансите на нивните алгоритми, што стана чест проблем за време на пандемијата. Грешките на алгоритмите претставуваат широка предизвик, признат од компјутерски научници и лекари: системите на вештачка интелигенција треба да имаат конзистентен надзор и ресурси за правилно функционирање. Без доволно следење, постои ризик дека овие системи би можеле да ги зголемат здравствените трошоци без да ја подобрат квалитетот на грижата. Нигам Шах од Stanford Health Care го поставува прашањето за изводливоста на вештачката интелигенција ако ги покачува трошоците за грижа за 20%. Слично, комесарот на FDA, Роберт Калиф, изразува загриженост дека здравствените системи во САД немаат способност да ја валидираат клиничката употреба на вештачката интелигенција. Вештачката интелигенција веќе е присутна во здравството, предвидувајќи ризици за пациентите, помага во дијагнози и повеќе.

Но, оценувањето на ефективноста на овие производи е сложено, и не постои стандарден метод за нивно следење по имплементацијата. Џеси Еренфелд, поранешен претседател на Американската медицинска асоцијација, ја истакнува отсутноста на стандарди, што го отежнува изборот на најдобрите алгоритми за болниците. Амбиенталната документација, вештачка интелигенција која сумира посетите на пациентите, е честа, со значителни вложувања. Меѓутоа, мали грешки можат да бидат штетни, како што покажува студијата на Универзитетот Стенфорд каде што големите јазични модели имале 35% грешка во резимеата на медицинската историја, што ги илустрира потенцијалните опасности. Алгоритмите можат да пропаднат и поради логични причини, како промени во податоците, или привидно случајни причини. Сенди Аронсон од Мас Генерал Бригам забележува дека некои апликации на вештачка интелигенција страдаат од "недетерминизам", давајќи неконзистентни одговори. За да се надминат овие предизвици, институциите мора сериозно да вложуваат во следење и ресурси. На Стенфорд, прегледот на два модела за правичност зема значително време и труд. Експертите предлагаат користење на вештачка интелигенција за следење на вештачката интелигенција, под надзор на експерти за податоци, иако ова може да биде скапо со оглед на буџетските ограничувања и недостигот на специјалисти за вештачка интелигенција. На крајот, иако вештачката интелигенција носи ветувања, нејзината интеграција во здравството бара внимателни вложувања и надзор.