El dijous, el Tribunal Suprem de Califòrnia va instar al Col·legi d’Advocats de Califòrnia a aclarir com i per què va utilitzar la intel·ligència artificial (IA) per redactar preguntes de multiple choice per als seus problemàtics exàmens de bar de febrer. El tribunal va revelar dimarts que no s’havien informat prèviament a l’examen que el Col·legi d’Advocats havia permès que el seu psicòmetre independent utilitzés IA en la creació d’una petita part de les preguntes. La pressió pública creixent, el tribunal va exigir explicacions detallades sobre el paper de la IA en l’elaboració de les preguntes i les mesures preses per garantir-ne la fiabilitat. Aquesta petició coincideix amb la petició del Col·legi d’Advocats d’ajustar les puntuacions de centenars de candidats que van informar de problemes tècnics i irregularitats durant l’examen de febrer. La controvèrsia va més enllà de l’ús de la IA en si, centrant-se en com el Col·legi d’Advocats va integrar la IA en l’elaboració de preguntes i en la minuciositat del seu procés de revisió per a un examen clau per a milers d’aspirants a advocats a Califòrnia cada any. També planteja qüestions de transparència respecte a la transició del Col·legi des del multistate bar exam de la Conferència Nacional d’Examinadors d’Advocats—which estava àmpliament adoptat—cap a un nou format de prova híbrida, presencial i en línia, pensat per reduir costos. En una declaració del dijous, el Tribunal Suprem va sol·licitar detalls sobre per què i com es va emprar la IA per redactar o revisar preguntes de múltiples opcions, quins passos es van seguir per assegurar la seva fiabilitat abans de l’examen, si alguna pregunta derivada de la IA es va excloure per manca de fiabilitat, i quina és la dependència global de les preguntes puntuades. L’any passat, el tribunal va aprovar un acord de 8, 25 milions de dòlars durant cinc anys amb Kaplan per produir 200 preguntes per a l’examen renovat, a més de contractar Meazure Learning per administrar-lo. No obstant això, el Col·legi d’Advocats només va revelar aquesta setmana, gairebé dos mesos després de l’examen, que va desvincular-se d’aquest pla en no confiar exclusivament en Kaplan per a la creació de preguntes. Una presentació va revelar que, de les 171 preguntes de multiple choice puntuades, Kaplan en va redactar 100, 48 sorgien d’un test per a estudiants de primer any de dret, i 23 van ser desenvolupades amb IA per ACS Ventures, l’empresa psicomètrica del Bar. Tot i això, Leah Wilson, directora executiva del Col·legi, va afirmar tenir confiança en la validesa de les preguntes i en la seva equitat per avaluar la competència dels candidats. Alex Chan, advocat i president del Comitè d’Examinadors del Barrat de Califòrnia, va dir a The Times que la IA només es va utilitzar per a un petit conjunt de preguntes i no necessàriament per crear-les de zero.

Va assenyalar que, a l’octubre, el Tribunal Suprem de Califòrnia havia animat el Col·legi a considerar noves tecnologies, incloent la IA, per millorar la fiabilitat i l’eficiència del test, un procés que, segons ell, requeriria l’aprovació del tribunal. No obstant això, Chan va revelar dijous que el Comitè no va ser informat de l’ús de la IA abans de l’examen i, per tant, no va poder revisar ni aprovar-lo. Aquesta manca de notificació prèvia va rebre crítiques per part d’experts en exàmens de barra. Katie Moran, professora associada de dret especialitzada en preparació per al bar, va preguntar qui va instruir ACS Ventures—una entitat sense experiència en la creació de preguntes per al bar—a crear aquestes preguntes i quines directrius se’ls van proporcionar. Mary Basick, subdeana d’habilitats acadèmiques a la Facultat de Dret de UC Irvine, va destacar la importància d’aquest canvi no aprovat, ressaltant que el Comitè i el Tribunal només havien autoritzat preguntes redactades per Kaplan. Va mencionar l’experiència de Kaplan com a empresa de preparació per al bar, la qual s’esperava que garantís la qualitat establerta de les preguntes, i va assenyalar que els canvis substancials en l’examen requereixen un avís de dos anys segons la legislació de Califòrnia. Basick va afegir que el desenvolupament habitual de preguntes sol dur anys per garantir-ne la validesa i fiabilitat a través de múltiples etapes de revisió, cosa que no va ser possible en aquest cas. Ella i altres academics també van expressar preocupació per una psicomètrica sense formació legal que creés preguntes amb IA i en valorés la validesa, suggerint un possible conflicte d’interessos. El Col·legi d’Advocats va rebutjar aquesta opinió, indicant que els processos de validació i fiabilitat són objectius i constants independentment de l’origen de la pregunta. Va explicar que, abans de l’examen, totes les preguntes—incloent les assistides per IA—van passar per revisions per part de comitès de validació de contingut i experts en matèria per avaluar-ne la precisió legal, la competència i el biaix. Pel que fa a la fiabilitat, el Col·legi d’Advocats va informar que el conjunt combinat de preguntes de multiple choice puntuades, independentment de l’origen, va superar la fita de fiabilitat psicomètrica de 0, 80, reafirmant que es van complir els estàndards de rendiment malgrat la controvèrsia.