Onkolodzy odgrywają kluczową rolę w przygotowywaniu pacjentów onkologicznych do trudnych decyzji, takich jak wybór leczenia i preferencje dotyczące końca życia. W Uniwersyteckim Systemie Zdrowia Pensylwanii używany jest algorytm AI do przewidywania szans pacjentów na śmierć, aby zainicjować takie rozmowy. Jednak badanie wykazało, że skuteczność algorytmu spadła podczas pandemii COVID-19, co mogło skutkować pominięciem rozmów, które mogły zapobiec niepotrzebnej chemioterapii. Onkolog Ravi Parikh wskazuje na ten problem, zauważając, że wiele placówek medycznych nie monitoruje działania swoich algorytmów, co było częstym problemem podczas pandemii. Usterki algorytmów stanowią szersze wyzwanie uznawane przez informatyków i lekarzy: systemy AI potrzebują stałego nadzoru i zasobów, aby działać poprawnie. Bez odpowiedniego monitorowania istnieje ryzyko, że te systemy mogą podnosić koszty opieki zdrowotnej bez poprawy jakości usług. Nigam Shah ze Stanford Health Care poddaje w wątpliwość opłacalność AI, jeśli powoduje wzrost kosztów o 20%. Podobnie, komisarz FDA Robert Califf wyraża obawy, że amerykańskie systemy zdrowotne nie mają zdolności do weryfikacji klinicznego zastosowania AI. AI jest już powszechnie stosowane w opiece zdrowotnej, przewidując ryzyko pacjentów, wspomagając diagnozy i więcej. Jednak ocena skuteczności tych produktów jest skomplikowana i nie ma ustandaryzowanej metody monitorowania ich po wdrożeniu.

Jesse Ehrenfeld, były prezydent American Medical Association, wskazuje na brak standardów, co utrudnia szpitalom wybór najlepszych algorytmów. Dokumentacja środowiskowa, czyli AI, która podsumowuje wizyty pacjentów, jest powszechna i wymaga znacznych inwestycji. Jednak niewielkie błędy mogą być szkodliwe, co potwierdza badanie Uniwersytetu Stanforda, gdzie modele językowe miały 35% wskaźnik błędów w streszczeniach historii medycznych, co ilustruje potencjalne zagrożenia. Algorytmy mogą również zawodzić z powodów logicznych, jak zmiany danych, lub pozornie losowych. Sandy Aronson z Mass General Brigham zauważa, że niektóre aplikacje AI cierpią na "niedeterministyczność", dostarczając niespójne odpowiedzi. Aby pokonać te wyzwania, instytucje muszą inwestować znaczne środki w monitorowanie i zasoby. Na Stanford, przegląd dwóch modeli pod kątem sprawiedliwości zajął znaczny czas i wymagał dużej siły roboczej. Eksperci sugerują użycie AI do monitorowania AI, nadzorowanej przez specjalistów ds. danych, choć może to być kosztowne z uwagi na ograniczenia budżetowe i niedobór specjalistów AI. Ostatecznie, choć AI ma obiecujące perspektywy, jego integracja z opieką zdrowotną wymaga starannej inwestycji i nadzoru.