Jeudi, la Cour suprême de Californie a exigé du barreau de Californie qu’il clarifie comment et pourquoi il a utilisé l’intelligence artificielle (IA) pour rédiger plusieurs questions à choix multiple pour ses examens du barreau de février, problématiques. La Cour a révélé mardi n’avoir pas été informée avant l’examen que le barreau avait permis à son psychométricien indépendant d’utiliser l’IA pour créer une petite partie des questions. Face à une pression publique croissante, la Cour a exigé des explications détaillées sur le rôle de l’IA dans l’élaboration des questions et sur les mesures prises pour garantir la fiabilité des questions. Cette demande coïncide avec la pétition du barreau visant à ajuster les notes de centaines de candidats ayant signalé des problèmes techniques et des irrégularités lors de l’examen de février. La controverse va au-delà de l’utilisation de l’IA elle-même, elle porte sur la manière dont le barreau a intégré l’IA dans le développement des questions et sur la rigueur de son processus de vérification pour un examen crucial pour des milliers d’aspirants avocats en Californie chaque année. Elle soulève aussi des inquiétudes quant à la transparence concernant le passage du barreau, qui s’éloigne du format traditionnel du Multistate Bar Examination (MBE) de la National Conference of Bar Examiners vers un nouveau format hybride mêlant épreuve en personne et à distance, destiné à réduire les coûts. Dans une déclaration jeudi, la Cour suprême a demandé des précisions sur les raisons et les modes d’emploi de l’IA pour rédiger ou réviser les questions à choix multiple, sur les démarches assurant leur fiabilité avant l’administration, sur l’éventuelle exclusion de questions issues de l’IA en raison de leur fiabilité, et sur la fiabilité globale des questions notées. L’année dernière, la Cour avait approuvé un accord de 8, 25 millions de dollars sur cinq ans avec Kaplan pour produire 200 questions pour l’examen rénové, ainsi que pour confier à Meazure Learning la tâche de l’administrer. Cependant, cette semaine seulement, soit près de deux mois après l’examen, le barreau a révélé qu’il avait dévié de ce plan en ne se limitant pas à Kaplan pour la création des questions. Une présentation a montré que sur les 171 questions à choix notées, Kaplan en avait rédigé 100, 48 provenaient d’un test destiné aux étudiants en première année de droit, et 23 avaient été développées à l’aide de l’IA par ACS Ventures, le psychométricien du barreau. Malgré cela, Leah Wilson, la directrice exécutive du barreau, a affirmé avoir confiance dans la validité des questions et leur capacité à évaluer équitablement la compétence des candidats. Alex Chan, avocat et président du Comité des examinateurs du barreau chargé de l’examen du barreau de Californie, a déclaré au Times que l’IA n’avait été utilisée que pour un petit nombre de questions et non nécessairement pour leur création complète.

Il a précisé qu’en octobre, la Cour suprême de Californie avait encouragé le barreau à envisager l’utilisation de nouvelles technologies, y compris l’IA, pour améliorer la fiabilité et la rentabilité des tests, un processus qui nécessiterait l’approbation de la Cour. Cependant, jeudi, Chan a révélé que le Comité n’avait pas été informé de l’utilisation de l’IA avant l’examen et ne pouvait donc pas l’avoir revue ou approuvée. Ce manque de notification préalable a suscité des critiques de la part des experts du barreau. Katie Moran, professeure associée de droit spécialisée en préparation au barreau, a questionné sur qui avait donné l’ordre à ACS Ventures — une entité sans expérience en matière de rédaction de questions pour le barreau — de créer ces questions et quelles instructions lui avaient été données. Mary Basick, doyenne adjointe des compétences académiques à la faculté de droit de l’UC Irvine, a souligné l’importance de ce changement sans approbation, en insistant sur le fait que le Comité et la Cour suprême avaient uniquement autorisé des questions rédigées par Kaplan. Elle a rappelé que l’expertise de Kaplan en tant que société de préparation au barreau devait assurer la qualité des questions établies, et que tout changement important à l’examen nécessite une notification deux ans à l’avance conformément à la loi californienne. Basick a ajouté que le développement traditionnel des questions dure plusieurs années pour garantir leur validité et fiabilité, en passant par plusieurs étapes de revue, ce qui n’a pas été possible dans ce cas. Elle et d’autres universitaires ont également exprimé leur inquiétude quant au fait qu’un psychométricien sans formation juridique ait conçu des questions à l’aide de l’IA et jugé leur validité, suggérant un éventuel conflit d’intérêts. Le barreau a rejeté ces critiques, affirmant que les processus de validation et de fiabilité sont objectifs et constants indépendamment de l’origine des questions. Il a expliqué qu’avant l’examen, toutes les questions — y compris celles assistées par IA — ont été examinées par des panels de validation de contenu et des experts en la matière pour évaluer leur exactitude juridique, leur compétence et leur biais. Concernant la fiabilité, le barreau a reporté que l’ensemble des questions à choix multiple notées, quelle que soit leur origine, dépassait l’objectif psychométrique de fiabilité de 0, 80, confirmant que les normes de performance ont été respectées malgré la controverse.