Perşembe günü, Kaliforniya Yüksek Mahkemesi, Kaliforniya Eyalet Barosu’ndan, sorunlu Şubat baro sınavları için çoktan seçmeli soruları hazırlamakta yapay zekayı (AI) nasıl ve neden kullandıklarını netleştirmelerini istedi. Mahkeme, Salı günü yaptığı açıklamada, sınavdan önce Eyalet Barosu’nun bağımsız psikometrisyenine, soruların küçük bir bölümünü hazırlarken AI kullanmasına izin verdiği konusunda bilgilendirilmediğini ortaya koydu. Artan kamuoyu baskısı üzerine Mahkeme, soruların geliştirilmesinde AI’nın rolü ve soruların güvenilirliğinin sağlanması adına alınan önlemler hakkında detaylı açıklama talep etti. Bu talep, Eyalet Barosu’nun, Şubat sınavında teknik sorunlar ve usulsüzlük bildiren yüzlerce adayın skorlarının ayarlanması için açtığı dilekçeyle de çakışıyor. Tartışma, yalnızca AI kullanımıyla sınırlı kalmayıp, Eyalet Barosu’nun AI’yı soruların geliştirilmesine nasıl entegre ettiği ve Kaliforniya’da her yıl milyonlarca kişinin hukuk pratiğine geçmek için girdiği sınavın kritik aşamasındaki inceleme sürecinin ne kadar titizlikle yapıldığına odaklanıyor. Ayrıca, Baro’nun yaygın olarak benimsenen Milletlerarası Bar Sınav Kurulu’ndan (NCBE) çoktan seçmeli sınavdan (Multistate Bar Examination - MBE) uzaklaşıp, maliyetleri düşürmek amacıyla yeni, hibrit yüz yüze ve uzaktan sınav formatına geçişinde şeffaflık kaygıları da gündeme geliyor. Yüksek Mahkeme, Perşembe günü yaptığı açıklamada, AI’nın çoktan seçmeli soruları neden ve nasıl hazırlayıp görev yaptığını, teslimattan önce soruların güvenilirliğini sağlayan adımların ne olduğunu, AI kaynaklı bazı soruların güvensizlik sebebiyle dışlanıp dışlanmadığını ve genel olarak puanlanan soruların güvenilirliğini detaylandırmasını istedi. Geçen yıl, Mahkeme, yenilenen sınav için 8. 25 milyon dolar tutarında, beş yıllık bir anlaşma imzalayarak Kaplan’a 200 soru üretme görevi vermiş ve aynı zamanda sınavın uygulanması için Meazure Learning’i görevlendirmişti. Ancak, Eyalet Barosu, sınavdan neredeyse iki ay sonra, bu planın dışına çıkıp, yalnızca Kaplan’a güvenmemekte karar verdiğini açıkladı. Bir sunumda, 171 puanlanan çoktan seçmeli sorudan, Kaplan’ın 100 adet soru hazırladığı, 48’inin birinci sınıf hukuk öğrencileri sınavından, 23’ünün ise ACS Ventures adlı psikometrisyen tarafından AI kullanılarak geliştirildiği ortaya kondu. Buna rağmen, Eyalet Barosu’nun yürütme direktörü Leah Wilson, soruların geçerliliğine ve adayların yeterliliğinin adil değerlendirilmesine güvendiğini belirtti. Kaliforniya Bar Sınavını denetleyen Bar Sınav Komitesi’nin başkanı ve avukat Alex Chan, The Times’a yaptığı açıklamada, AI’nın sadece birkaç sorunun hazırlanmasında kullanıldığını ve mutlaka bu soruların doğrudan AI tarafından oluşturulmadığını söyledi.

Ayrıca, Ekim ayında Kaliforniya Yüksek Mahkemesi’nin, sınav güvenilirliği ve maliyet etkinliğini artırmak için AI da dahil olmak üzere yeni teknolojileri dikkate almaya teşvik ettiğini, bunun da Mahkeme onayını gerektirdiğini ekledi. Ancak, Chan Perşembe günü yaptığı açıklamada, Komitenin sınav öncesinde AI kullanımından haberdar edilmediğini ve bu nedenle değerlendirme veya onay yapamadığını açıkladı. Bu ön bilgilendirme eksikliği, sınav uzmanlarından eleştiri aldı. Bar hazırlıklarına odaklanan hukuk profesörü yardımcısı Katie Moran, AI ile hazırlanan sorulara kimlerin talimat verdiğini ve hangi yönergelerin sağlandığını sorguladı. UC Irvine Hukuk Fakültesi’nin akademik beceriler yardımcı müdürü Mary Basick, yapılan bu onaylamadan habersiz değişikliğin önemine değinerek, Komite ve Yüksek Mahkeme’nin sadece Kaplan tarafından hazırlanmış soruları onayladığını belirtti. Kaplan’ın, sınav kalitesini sağlama konusunda uzman bir bar hazırlık şirketi olduğunu ve büyük çaplı sınav değişikliklerinin Kaliforniya yasalarına göre iki yıl önceden bildirilmesi gerektiğine vurgu yaptı. Basick, tipik soru geliştirme sürecinin, geçerlilik ve güvenilirliği sağlamak için yıllarca sürdüğünü ve çeşitli gözden geçirme aşamalarını içerdiğini, bunun ise burada mümkün olmadığını sözlerine ekledi. Ayrıca, hukuk eğitimi almamış bir psikometrisyenin AI kullanarak sorular hazırlaması ve geçerliliğini değerlendirmesi konusundaki endişelerini dile getirerek, çıkar çatışması olabileceğine işaret etti. Eyalet Barosu bu iddiaları reddederek, doğrulama ve güvenilirlik süreçlerinin, soru kaynağı ne olursa olsun nesnel ve tutarlı olduğunu savundu. Ayrıca, sınava hazırlık aşamasından önce, AI ile üretilen sorular da dahil olmak üzere, içerik doğrulama panelleri ve uzmanlar tarafından legal doğruluk, yeterlilik ve önyargı açısından gözden geçirildiğini açıkladı. Güvenilirlik konusuna gelince, Eyalet Barosu, kaydedilen toplam çoktan seçmeli soruların, kaynağı ne olursa olsun, psikometrik güvenilirlik hedefi olan 0. 80’in üzerinde olduğunu ve bu güvencenin, tartışmalara rağmen, performans standartlarını karşıladığını belirtti.