Forsikringsselskaber er forpligtet til at sikre, at deres brug af forbrugerdata og kunstig intelligens (AI) er ikke-diskriminerende, som det er angivet i et memo fra Department of Financial Services datode 11. juli. Memoen fastslår, at forsikringsselskaber bør afholde sig fra at inkorporere eksterne data eller AI-systemer uden at foretage en omfattende vurdering for at bekræfte, at de ikke uretfærdigt diskriminerer mellem personer i lignende situationer. Hvis vurderingen viser en skæv indvirkning på en bestemt demografisk gruppe, skal forsikringsselskaber stræbe efter at finde et mindre forudindtaget alternativ. Denne direktiv, udsendt gennem et cirkulæreskrivelse, gælder for cirka 1. 960 virksomheder, der reguleres af DFS, herunder livsforsikringsselskaber, ejendoms- og ulykkesforsikringsselskaber samt visse sundhedsforsikringsselskaber. DFS Superintendent Adrienne Harris udtalte, at denne vejledning sigter mod at forhindre opretholdelse eller forstærkning af systemiske fordomme, som har resulteret i ulovlig eller unfair diskrimination, samtidig med at markedets stabilitet beskyttes. Forbrugerorganisationen Consumer Reports påpegede, at traditionelle metoder til analyse også kan være diskriminerende. Dog bliver risiciene mere udtalte, når virksomheder anvender uigennemsigtige algoritmer til at analysere store mængder data og automatisere beslutninger.

AI-systemer kan blive fodret med ufuldstændige, unøjagtige eller ikke-repræsentative data eller data, der stammer fra fordomsfulde praksisser, som ikke længere er gyldige. For eksempel har livsforsikringsselskaber anerkendt at bruge kundernes body mass index (BMI), en måling af forholdet mellem kropsvægt og højde. Dog har den amerikanske lægeforening frarådet at stole udelukkende på BMI, da udviklingen af det primært stolede på data fra hvide patienter. Derfor kan forsikringsselskaber være nødt til at genoverveje, hvordan de inkorporerer BMI i deres praksis, ifølge Chuck Bell, direktør for advocaciprogrammer hos Consumer Reports. DFS' tilgang synes at være passende fleksibel, ifølge Eric Linzer, præsident og administrerende direktør for New York Health Plan Association, der repræsenterer sundhedsforsikringsselskaber. Selvom AI ikke almindeligvis bruges til at fastsætte priser og dække sundhedsplaner, har det været nyttigt til at opdage svigagtige krav og identificere huller i plejen. Linzer udtrykte støtte til et rammeværk, der muliggør udviklingen af egnede værktøjer til sundhedsplaner, der forbedrer, i stedet for at erstatte, menneskelige beslutninger og ekspertise. Han fremhævede også, at AI har potentialet til at forbedre effektiviteten og overkommeligheden af sundhedssystemet.