Mulai 1 Januari, sebuah undang-undang baru yang ditandatangani oleh Gubernur California, Gavin Newsom, mengharuskan perusahaan teknologi yang membuat model AI besar dan canggih, seperti Google dan OpenAI, untuk meningkatkan transparansi tentang dampak sosial dan melindungi karyawan yang mengangkat kekhawatiran tentang keselamatan. Undang-undang ini memberikan perlindungan pelapor bagi karyawan yang menilai risiko keselamatan kritis dan mewajibkan pengembang AI besar untuk mempublikasikan kerangka kerja di situs web mereka yang merinci bagaimana mereka mengelola risiko bencana dan merespons insiden. Perusahaan harus melaporkan insiden keselamatan kritis ke negara bagian dalam waktu 15 hari, atau dalam 24 jam jika ada ancaman kematian atau cedera yang akan datang. Denda dapat mencapai hingga US$1 juta per pelanggaran. Berasal dari RUU Senat 53 oleh Senator Scott Wiener, undang-undang ini menargetkan risiko bencana yang didefinisikan sebagai skenario di mana AI menyebabkan lebih dari 50 kematian melalui serangan siber atau penggunaan senjata, atau menghasilkan kerugian atau kerusakan lebih dari US$1 miliar, terutama dalam kasus di mana operator kehilangan kendali atas tindakan AI—sebuah kekhawatiran yang sebagian besar bersifat hipotesis. Undang-undang ini mengharuskan pencipta AI untuk mengeluarkan laporan transparansi yang menggambarkan penggunaan model yang dimaksud, pembatasan penggunaan, pendekatan manajemen risiko, dan tinjauan pihak ketiga terhadap upaya-upaya tersebut. Rishi Bommasani dari Stanford, salah satu kontributor utama laporan yang mempengaruhi SB 53, memandang undang-undang ini sebagai kemajuan penting bagi transparansi AI, mencatat bahwa hanya 3 dari 13 perusahaan yang dipelajari timnya secara rutin melaporkan insiden, dan skor transparansi telah menurun. Namun, dia menegaskan bahwa dampak dari undang-undang ini sangat bergantung pada penegakan hukum dan alokasi sumber daya oleh lembaga pemerintah.

Undang-undang ini juga mempengaruhi negara bagian lain; undang-undang transparansi dan keselamatan AI di New York mengikuti model California. Meskipun mengalami kemajuan, para kritikus mencatat adanya celah signifikan: undang-undang ini tidak mencakup risiko terkait dampak lingkungan, disinformasi, bias sistemik seperti seksisme atau rasisme, dan tidak mencakup sistem AI pemerintah yang digunakan untuk profiling atau penilaian dampak. Hanya berlaku untuk perusahaan dengan pendapatan tahunan lebih dari US$500 juta. Persyaratan transparansi juga terbatas—laporan insiden yang diajukan ke Kantor Layanan Darurat California (OES) bersifat rahasia, hanya dapat diakses oleh legislator dan gubernur, dan dapat disunting untuk melindungi rahasia dagang, sehingga membatasi akses publik. Bommasani berharap transparansi tambahan akan datang dari RUU Dewan Perwakilan Rakyat 2013 (Assembly Bill 2013), yang berlaku mulai 1 Januari 2024, yang mewajibkan pengungkapan tentang data yang digunakan untuk melatih model AI. Ketentuan lebih lanjut dari SB 53 akan berlaku mulai tahun 2027, ketika OES akan menghasilkan laporan anonim tentang insiden keselamatan AI kritis yang diterima dari masyarakat dan pengembang AI. Meskipun ini dapat memperjelas potensi AI untuk serangan atau tindakan otonom, hal ini tidak akan secara publik mengidentifikasi model AI tertentu yang menimbulkan risiko.