Les assureurs sont tenus de garantir que leur utilisation des données des consommateurs et de l'intelligence artificielle (IA) est non discriminatoire, comme le stipule une note du Département des services financiers de l'État datée du 11 juillet. La note affirme que les assureurs doivent s'abstenir d'incorporer des données externes ou des systèmes d'IA sans mener une évaluation complète afin de confirmer qu'ils ne discriminent pas de manière injuste entre les individus dans des situations similaires. Dans le cas où l'évaluation révèle un impact disproportionné sur un groupe démographique particulier, les assureurs doivent s'efforcer de trouver une alternative moins biaisée. Cette directive, émise sous forme de lettre circulaire, s'applique à environ 1960 sociétés réglementées par le DFS, y compris les assureurs vie, dommages matériels et responsabilité civile, ainsi que certains assureurs santé. La surintendante du DFS, Adrienne Harris, a déclaré que cette orientation vise à prévenir la perpétuation ou l'amplification des biais systémiques, qui ont entraîné des discriminations illégales ou injustes, tout en préservant la stabilité du marché. Consumer Reports, un groupe de défense des droits des consommateurs, a souligné que les méthodes d'analyse traditionnelles peuvent également être discriminatoires. Cependant, les risques deviennent plus prononcés lorsque les entreprises utilisent des algorithmes opaques pour analyser d'énormes quantités de données et automatiser les décisions. Les systèmes d'IA peuvent être alimentés par des données incomplètes, inexactes ou non représentatives, ou par des données issues de pratiques biaisées qui ne sont plus valides. Par exemple, les assureurs vie ont admis utiliser l'indice de masse corporelle (IMC) des clients, qui est une mesure du rapport entre le poids et la taille du corps.

Cependant, l'American Medical Association a déconseillé de se fier uniquement à l'IMC, car son élaboration reposait principalement sur des données de patients blancs. Par conséquent, les assureurs peuvent devoir réévaluer la manière dont ils intègrent l'IMC dans leurs pratiques, selon Chuck Bell, directeur des programmes de défense chez Consumer Reports. L'approche du DFS semble être appropriée et flexible, selon Eric Linzer, président et PDG de l'Association des régimes de santé de New York, qui représente les assureurs santé. Bien que l'IA ne soit pas couramment utilisée pour l'établissement des tarifs et la tarification des régimes de santé, elle s'est avérée utile pour détecter les fraudes et identifier les lacunes dans les soins. Linzer a exprimé son soutien à un cadre permettant aux régimes de santé de développer des outils adaptés qui améliorent plutôt que de remplacer la prise de décision et l'expertise humaines. Il a également souligné que l'IA a le potentiel d'améliorer l'efficacité et l'abordabilité du système de soins de santé.