Onkologer spiller en avgjørende rolle i å forberede kreftpasienter på vanskelige beslutninger, som behandling og preferanser ved livets slutt. Ved University of Pennsylvania Health System brukes en AI-algoritme for å forutsi pasienters sjanser for dødelighet for å fremme slike diskusjoner. En studie fant imidlertid at algoritmens effektivitet ble redusert under COVID-19-pandemien, noe som muligens resulterte i manglende diskusjoner som kunne ha forhindret unødvendig kjemoterapi. Ravi Parikh, en onkolog, påpeker dette problemet og bemerker at mange helseinstitusjoner feiler i å overvåke algoritmenes ytelse, et vanlig problem under pandemien. Algoritmefeil representerer en bredere utfordring anerkjent av datavitenskapsfolk og leger: AI-systemer trenger konstant oppsyn og ressurser for å fungere riktig. Uten tilstrekkelig overvåking er det en risiko for at disse systemene kan øke helsekostnader uten å forbedre kvaliteten på omsorgen. Nigam Shah fra Stanford Health Care stiller spørsmål ved AI's levedyktighet hvis det øker omsorgskostnadene med 20%. Tilsvarende uttrykker FDA-kommisjonær Robert Califf bekymring for at amerikanske helsevesen mangler kapasitet til å validere AI's kliniske bruk. AI er allerede utbredt i helsevesenet, med å forutsi pasientrisiko, assistere med diagnoser, og mer.

Men å vurdere effektiviteten av disse produktene er komplekst, og det finnes ingen standardmetode for å overvåke dem etter implementering. Jesse Ehrenfeld, tidligere president i American Medical Association, påpeker fraværet av standarder, noe som gjør det vanskelig for sykehus å velge de beste algoritmene. Ambient dokumentasjon, AI som oppsummerer pasientbesøk, er vanlig, med betydelige investeringer. Imidlertid kan små feil være skadelige, som vist av en Stanford University-studie hvor store språkmodeller hadde en feilrate på 35 % i medisinske historieoppsummeringer, noe som illustrerer de potensielle farene. Algoritmer kan også svikte av logiske grunner, som datsendringer, eller tilsynelatende tilfeldige. Sandy Aronson fra Mass General Brigham bemerker at noen AI-applikasjoner lider av "nondeterminisme, " og gir inkonsistente svar. For å navigere disse utfordringene må institusjoner investere tungt i overvåking og ressurser. Ved Stanford tok vurderingen av to modeller for rettferdighet betydelig tid og arbeidskraft. Eksperter foreslår å bruke AI for å overvåke AI, under tilsyn av dataeksperter, selv om dette kan være kostbart gitt budsjettbegrensninger og mangel på AI-spesialister. Til syvende og sist, selv om AI har stor potensial, krever dens integrering i helsevesenet nøye investering og oppsyn.