Την Πέμπτη, το Ανώτατο Δικαστήριο της Καλιφόρνιας ζήτησε από τον Ομοσπονδιακό Επιμελητήριο Δικηγόρων της Καλιφόρνιας να διευκρινίσει πώς και γιατί χρησιμοποίησε τεχνητή νοημοσύνη (ΤΝ) για τη σύνταξη πολλαπλών επιλογών για τις προβληματικές εξετάσεις του Φεβρουαρίου. Το Δικαστήριο αποκάλυψε την Τρίτη ότι δεν είχε ενημερωθεί προηγουμένως ότι το Ομοσπονδιακό Επιμελητήριο Δικηγόρων είχε επιτρέψει στον ανεξάρτητο ψυμομετρικό του να χρησιμοποιήσει ΤΝ στην δημιουργία ενός μικρού μέρους των ερωτήσεων. Αυξανόμενη δημόσια πίεση, το Δικαστήριο ζήτησε αναλυτικές εξηγήσεις σχετικά με τον ρόλο της ΤΝ στην ανάπτυξη των ερωτήσεων και τα μέτρα που ελήφθησαν για να διασφαλιστεί η αξιοπιστία τους. Αυτή η απαίτηση συμπίπτει με την αίτηση του Ομοσπονδιακού Επιμελητηρίου Δικηγόρων για την αναπροσαρμογή βαθμολογιών εκατοντάδων υποψηφίων που αναφέρθηκαν σε τεχνικά προβλήματα και ανωμαλίες κατά τη διάρκεια της εξέτασης του Φεβρουαρίου. Η διαμάχη εκτείνεται πέρα από τη χρήση της ΤΝ καθαυτής, εστιάζοντας στο πώς το Ομοσπονδιακό Επιμελητήριο ενέταξε την ΤΝ στην ανάπτυξη των ερωτήσεων και στην επάρκεια της διαδικασίας ελέγχου για μια εξέταση που είναι κρίσιμη για χιλιάδες που επιδιώκουν να εξασκήσουν το επάγγελμα του δικηγόρου στην Καλιφόρνια κάθε χρόνο. Επίσης, εγείρει ζητήματα διαφάνειας σχετικά με την απομάκρυνση του Ομοσπονδιακού Επιμελητηρίου από το ευρέως υιοθετημένο Multistate Bar Examination (ΜΒΕ) του Εθνικού Συνεδρίου των Εξεταστών Δικηγόρων, προς μια νέα υβριδική μορφή εξετάσεων τόσο δια ζώσης όσο και απομακρυσμένα, που προορίζεται να μειώσει τα κόστη. Σε δήλωσή του την Πέμπτη, το Ανώτατο Δικαστήριο ζήτησε συγκεκριμένες πληροφορίες σχετικά με το γιατί και πώς χρησιμοποιήθηκε η ΤΝ για τη σύνταξη ή την αναθεώρηση πολλαπλών επιλογών, ποια βήματα διασφάλιζαν την αξιοπιστία τους πριν από τη διεξαγωγή, αν ορισμένες ερωτήσεις που προέκυψαν από ΤΝ απορρίφθηκαν λόγω αναξιοπιστίας, και τη γενική αξιοπιστία των βαθμολογημένων ερωτήσεων. Πέρυσι, το Δικαστήριο ενέκρινε συμφωνία ύψους 8, 25 εκατομμυρίων δολαρίων διάρκειας πέντε ετών με την Kaplan, για την παραγωγή 200 ερωτήσεων για την ανανεωμένη εξέταση, καθώς και την πρόσληψη της Meazure Learning για τη διενέργειά της. Ωστόσο, το Ομοσπονδιακό Επιμελητήριο αποκάλυψε μόλις αυτή την εβδομάδα, почти δύο μήνες μετά την εξέταση, ότι διαφοροποιήθηκε από αυτό το πλάνο, μην βασιζόμενο αποκλειστικά στη Kaplan για τη δημιουργία των ερωτήσεων. Μια παρουσίαση αποκάλυψε ότι από τις 171 βαθμολογημένες ερωτήσεις πολλαπλής επιλογής, η Kaplan ήταν υπεύθυνη για 100, 48 προήλθαν από τεστ πρώτου έτους νομικής και 23 αναπτύχθηκαν με τη χρήση ΤΝ από την ACS Ventures, τον ψυμομετρικό του Επιμελητηρίου. Παρ’ όλα αυτά, η Leah Wilson, εκτελεστική διευθύντρια του Ομοσπονδιακού Επιμελητηρίου, διαβεβαίωσε ότι οι ερωτήσεις είναι έγκυρες και ότι αντικατοπτρίζουν δίκαια την ικανότητα των υποψηφίων. Ο Alex Chan, δικηγόρος και πρόεδρος της Επιτροπής Εξεταστών Δικηγόρων που επιβλέπει τις εξετάσεις της Καλιφόρνια, δήλωσε στη The Times ότι η ΤΝ χρησιμοποιήθηκε μόνο για ένα μικρό σύνολο ερωτήσεων και όχι απαραίτητα για τη δημιουργία τους.

Αναφέρθηκε στο γεγονός ότι τον Οκτώβριο το Ανώτατο Δικαστήριο της Καλιφόρνιας είχε ενθαρρύνει το Ομοσπονδιακό Επιμελητήριο να εξετάσει νέες τεχνολογίες, συμπεριλαμβανομένης της ΤΝ, για την ενίσχυση της αξιοπιστίας και της οικονομίας των εξετάσεων, μια διαδικασία που, όπως είπε, θα απαιτούσε την έγκριση του Δικαστηρίου. Ωστόσο, ο Chan αποκάλυψε την Πέμπτη ότι η Επιτροπή δεν ενημερώθηκε για τη χρήση της ΤΝ πριν την εξέταση και ως εκ τούτου δεν μπόρεσε να την εξετάσει ή να την εγκρίνει. Αυτή η έλλειψη προηγούμενης ενημέρωσης προκάλεσε κριτική από ειδικούς στις εξετάσεις δικηγόρων. Η Katie Moran, καθηγήτρια νομικής και ειδική στην προετοιμασία για τις εξετάσεις, ερωτήθηκε ποιος ήταν αυτός που συντόνισε την ACS Ventures—μια οντότητα χωρίς εμπειρία στη σύνταξη ερωτήσεων για τις εξετάσεις—και ποια κατευθυντήρια γραμμή παρείχαν. Η Mary Basick, βοηθός κοσμήτωρα για τις ακαδημαϊκές δεξιότητες στην Νομική Σχολή UC Irvine, τόνισε τη σημασία αυτού του μη εγκριθέντος αλλαγής, επισημαίνοντας ότι το Επιμελητήριο και το Ανώτατο Δικαστήριο είχαν εξουσιοδοτήσει μόνο τις ερωτήσεις που είχαν δημιουργηθεί από την Kaplan. Επίσης, σημείωσε την εξειδίκευση της Kaplan ως εταιρείας προετοιμασίας για τις εξετάσεις δικηγόρων, η οποία είχε ως στόχο να διασφαλίσει την ποιότητα των ερωτήσεων, και υπογράμμισε ότι ουσιώδεις αλλαγές στην εξέταση απαιτούν ειδοποίηση δύο ετών σύμφωνα με την καλιφορνέζικη νομοθεσία. Πρόσθεσε ότι η ανάπτυξη ερωτήσεων διαρκεί συχνά χρόνια για να διασφαλιστεί η εγκυρότητα και η αξιοπιστία μέσω πολλαπλών σταδίων ελέγχου, κάτι το οποίο εδώ δεν ήταν εφικτό. Εκφράστηκαν επίσης ανησυχίες σχετικά με το το γεγονός ότι ένας μη νομικά εκπαιδευμένος ψυμομετρικός δημιούργησε ερωτήσεις με ΤΝ και αξιολόγησε τη εγκυρότητά τους, υποδεικνύοντας πιθανόν σύγκρουση συμφερόντων. Το Ομοσπονδιακό Επιμελητήριο διέψευσε αυτά, δηλώνοντας ότι οι διαδικασίες επικύρωσης και αξιοπιστίας είναι αντικειμενικές και συνεπείς ανεξάρτητα από την προέλευση των ερωτήσεων. Εξήγησε ότι πριν την εξέταση, όλες οι ερωτήσεις—περιλαμβανομένων αυτών που υποβλήθηκαν με τη βοήθεια ΤΝ—υπέστησαν αξιολόγηση από ομάδες επικύρωσης περιεχομένου και εμπειρογνώμονες για την αξιολόγηση της νομικής ακρίβειας, της ικανότητας και των προκαταλήψεων. Όσον αφορά την αξιοπιστία, το Ομοσπονδιακό Επιμελητήριο ανέφερε ότι οι συνολικές βαθμολογημένες ερωτήσεις πολλαπλής επιλογής, ανεξαρτήτως πηγής, ξεπέρασαν το στόχο αξιοπιστίας της ψυχομετρίας των 0, 80, διασφαλίζοντας ότι τα πρότυπα απόδοσης ικανοποιήθηκαν παρά τη διαμάχη.