Fra 1. januar kræver en ny lov, der er underskrevet af Californien-gouvernør Gavin Newsom, at tech-virksomheder, der udvikler store, avancerede AI-modeller som Google og OpenAI, øger gennemsigtigheden om samfundsmæssige konsekvenser og beskytter ansatte, der fremhæver sikkerhedsproblemer. Loven giver whistleblower-beskyttelse til medarbejdere, der vurderer kritiske sikkerhedsrisici, og kræver, at store AI-udviklere offentliggør rammer på deres hjemmesider, der beskriver, hvordan de håndterer katastrofale risici og reagerer på hændelser. Virksomheder skal rapportere kritiske sikkerhedsrelaterede hændelser til staten inden for 15 dage, eller inden for 24 timer, hvis der er en umiddelbar trussel om død eller skade. Übertrædelser kan medføre bøder på op til 1 million dollars per overtrædelse. Loven stammer fra Senatslov 53 (SB 53) af senator Scott Wiener og har til formål at adressere katastrofale risici, defineret som scenarier, hvor AI forårsager mere end 50 dødsfald gennem cyberangreb eller væbnet brug, eller hvor der opstår tab eller skader for over en milliard dollars, især i tilfælde hvor operatører mister kontrollen over AI’ens handlinger – en overvejende hypotetisk bekymring. Loven kræver, at AI-udviklere udsteder transparensrapporter, der beskriver tiltænkte anvendelser af modellen, restriktioner i brugen, risikostyringsmetoder og eventuelle tredjepartsrevisioner af disse tiltag. Rishi Bommasani fra Stanford, en central bidragyder til en rapport, der har påvirket SB 53, ser loven som et vigtigt fremskridt for AI-gennemsigtighed og bemærker, at kun 3 ud af 13 virksomheder, hans team har studeret, regelmæssigt rapporterer hændelser, og at gennemsigtighedsscorerne er faldet. Dog understreger han, at lovens effekt i høj grad afhænger af håndhævelse og ressourcetildeling fra myndighedernes side.

Loven har også inspireret andre stater; New Yorks lov om AI-gennemsigtighed og sikkerhed følger Californiens model. På trods af fremskridt bemærker kritikere væsentlige mangler: loven udelukker risici relateret til miljøpåvirkninger, desinformation, systematiske skævheder som sexisme eller racisme, og dækker ikke for eksempel AI-systemer, der bruges af staten til profiling eller impactsanalyser. Den gælder kun for virksomheder med en årlig omsætning over 500 millioner dollars. Kravene om gennemsigtighed er også begrænsede – hændelsesrapporter, der indberettes til Californiens Office of Emergency Services (OES), er fortrolige, tilgængelige kun for lovgivere og guvernøren, og kan blive redigeret for at beskytte forretningshemmeligheder, hvilket begrænser offentlighedens adgang. Bommasani håber, at yderligere gennemsigtighed vil komme med Lovforslag 2013 (Assembly Bill 2013), der træder i kraft den 1. januar 2024, hvilket kræver, at virksomheder offentliggør oplysninger om de data, der bruges til at træne AI-modeller. Yderligere bestemmelser i SB 53 træder i kraft i 2027, hvor OES skal udarbejde anonymiserede rapporter om kritiske AI-sikkerhedshændelser, modtaget fra offentligheden og AI-udviklere. Selvom dette kan kaste lys over AI’s potentiale for angreb eller autonome handlinger, vil det ikke offentligt identificere specifikke AI-modeller, der udgør risici.