Csütörtökön a Kaliforniai Legfelső Bíróság arra szólította fel a Kaliforniai Állami Jogsegély Szövetséget (State Bar of California), hogy tisztázza, miként és miért alkalmazott mesterséges intelligenciát (AI) többválasztós kérdések elkészítéséhez a problémás februári vizsgán. A bíróság kedden ismertette, hogy nem kapott tájékoztatást arról, hogy a Szövetség független pszichometrikus szakértője AI-t használt a kérdések kisebb részének kidolgozásában. Növekvő nyilvános nyomásra a bíróság részletes magyarázatot kért az AI szerepéről a kérdések készítésében, valamint azokról az intézkedésekről, amelyek a kérdések megbízhatóságának garantálására irányultak. Ez a kérés egybeesik a Szövetség azon kérésével, hogy módosítsák több száz pályázó pontszámát, akik technikai problémákra és szabálytalanságokra panaszkodtak a februári vizsgán. A vita nemcsak az AI alkalmazásán múlik, hanem azon is, hogy a Szövetség miként integrálta az AI-t a kérdések kidolgozásába, és mennyire volt alapos a kérdések átvilágítási folyamata annak a vizsgának a kapcsán, amely évente több ezer kaliforniai joggyakornok számára alapvető. Emellett aggályokat vet fel a transzparencia kérdése is, különösen a Szövetség azon lépése kapcsán, hogy a széles körben használt Nemzeti Bírósági Vizsgabizottság Showdownja (National Conference of Bar Examiners) által kidolgozott Többállású Vizsga (Multistate Bar Examination) helyett egy új, hibrid, személyes és távoli vizsgázási formára tért át, amelynek célja a költségek csökkentése. A csütörtöki nyilatkozatában a Legfelső Bíróság kérte a részleteket arra vonatkozóan, hogy miért és hogyan alkalmazták az AI-t a kérdések kidolgozására vagy módosítására, mely lépések garantálták azok megbízhatóságát az alkalmazás előtt, történt-e bírált kérdések kizárása megbízhatatlanság miatt, valamint általánosságban mennyire voltak megbízhatóak a pontozott kérdések. Tavaly a bíróság jóváhagyott egy 8, 25 millió dolláros, öt éves szerződést a Kaplan céggel, amely 200 kérdést készített az átdolgozott vizsgához, és megbízta a Meazure Learning céget a vizsga lebonyolításával. Azonban csak most, közel két hónappal a vizsga után, derült ki, hogy a Szövetség ettől eltért, és nem kizárólag a Kaplan kérdésszerkesztési módját alkalmazta. Egy bemutató szerint a 171 pontozott kérdés közül 100-at a Kaplan készített, 48 a jogi elsőéves hallgatók vizsgájából származik, és 23-at az ACS Ventures, a Szövetség pszichometrikus szakértője AI segítségével fejlesztett ki. Mindeközben Leah Wilson, a Szövetség ügyvezető igazgatója biztosított arról, hogy a kérdések érvényessége és a pályázók képességének helyes értékelése biztosított. Alex Chan, a Kaliforniai Bírósági Vizsga Bizottságának elnöke és jogi képviselő, aki a Kaliforniai Bírósági Vizsgát felügyelő Bizottságot vezeti, a The Times-nak nyilatkozva elmondta, hogy az AI-t csak néhány kérdéshez használták, nem feltétlenül teljes kérdések generálására.

Megjegyezte, hogy októberben a Kaliforniai Legfelső Bíróság ösztönözte a Szövetséget új technológiák, köztük az AI alkalmazásának mérlegelésére, hogy növeljék a vizsga megbízhatóságát és költséghatékonyságát, de ezt a bíróság jóváhagyása szükséges. Azonban csütörtökön Chan elárulta, hogy a Bizottság nem kapott tájékoztatást az AI használatáról a vizsga előtt, így nem tudta megvizsgálni vagy jóváhagyni azt. Ez a korábbi értesítés hiánya bírálatokat váltott ki a vizsga szakértői körében. Katie Moran, a jogi oktató és a vizsga felkészítési szakértője kérdéseket fogalmazott meg arról, ki utasította az ACS Ventures-t, egy olyan szervezetet, amelynek nincs tapasztalata a bírósági kérdések készítésében, kérdések kidolgozására és milyen irányelvek voltak érvényben. Mary Basick, az UC Irvine Jogi Karának oktatási segédigazgatója hangsúlyozta ennek az engedély nélküli változásnak a jelentőségét, kiemelve, hogy a Bizottság és a Legfelső Bíróság csak a Kaplan által készített kérdéseket hagyta jóvá. Megjegyezte, hogy a Kaplan szakmai tapasztalata elvárható volt, hogy biztosítsa a kérdések minőségét, és az jelentős változtatások esetén, amelyek jog szerint legalább két év figyelmeztetést igényelnek Kaliforniában. Basick hozzátette, hogy a kérdések fejlesztése általában évekig tart, hogy biztosítsa azok érvényességét és megbízhatóságát több értékelési szakasz segítségével, ami itt nem volt lehetséges. Ő és más akadémikusok aggodalmukat fejezték ki amiatt, hogy egy jogi képzettség nélküli pszichometrikus szakértő kérdéseket készít AI segítségével, és értékeli azok érvényességét, ez esetleg összeférhetetlenséget vet fel. A Szövetség cáfolta ezt, állítva, hogy a kérdések validálási és megbízhatósági folyamatai objektívek és konzisztensen működnek, függetlenül azok forrásától. Kifejtették, hogy a vizsga előtt minden kérdést – beleértve az AI támogatással készült kérdéseket is – tartalmi értékelő csoportok és szakértők vizsgáltak, hogy felmérjék jogi pontosságukat, alkalmasságukat és elfogultságukat. A megbízhatóság kapcsán a Szövetség közölte, hogy a pontozott, összesített többválasztós kérdések, függetlenül azok eredetétől, túlszárnyalták a psychometriai szempontból elért 0, 80-as megbízhatósági célt, ezáltal megerősítve, hogy a teljesítményszintek megfeleltek, a vita ellenére is.