Err AI společnosti vhodně chrání lidstvo před riziky umělé inteligence?Podle nového hodnotícího reportu od Future of Life Institute, neriskuje odpověď být spíše ne. Jak se AI stává stále více nedílnou součástí lidsko-technologických interakcí, začínají se objevovat potenciální škody – od lidí, kteří využívají AI chatbota pro poradenství a následně spáchají sebevraždu, po kybernetické útoky s využitím AI. Hrozí také budoucí rizika, například použití AI v zbraních nebo pokusy o destabilizaci vlád. Ovšem, pro firmy vyvíjející AI neexistují dostatečné pobídky k tomu, aby upřednostnily globální bezpečnost. Nedávno zveřejněný Index bezpečnosti AI od Instututu, který má vést vývoj AI směrem k bezpečnějším výsledkům a zmírnit existenční hrozby, toto dilema zdůrazňuje. Max Tegmark, prezident Institutu a profesor MIT, poznamenal, že firmy zabývající se AI fungují jako jediný americký průmysl vyrábějící mocnou technologii bez regulací, čímž vzniká "závod ke dnu", při němž je bezpečnost často opomíjena. Nejvyšší známky v indexu, C+, dostaly pouze OpenAI, tvůrce ChatGPT, a Anthropic, známá díky svému chatbotovi Claude. Divize Google DeepMind získala známku C. Nižší hodnocení dostaly Meta (mateřská společnost Facebooku) a Elon Muskův xAI, obě sídlící poblíž Palo Alameda. Čínské firmy Z. ai a DeepSeek měly také D. Alibaba Cloud dostala nejnižší hodnocení, D-. Firmy byly hodnoceny podle 35 ukazatelů v šesti kategoriích, například existenční bezpečnost, hodnocení rizik nebo sdílení informací. Hodnocení kombinovalo veřejně dostupná data a odpovědi firem v průzkumech, které ohodnotilo osm expertů na AI, včetně akademiků a vedoucích organizací. Zajímavé je, že všechny firmy měly podprůměrné hodnocení v kategorii existenční bezpečnosti, jež hodnotí interní kontroly a strategie pro prevenci katastrofálního zneužití AI.

Zpráva uvádí, že žádná z nich nemá věrohodný plán pro zabránění ztráty kontroly nebo vážnému zneužití, jak AI směřuje k obecné či superinteligenci. Google DeepMind i OpenAI potvrdily svůj závazek k bezpečnosti. OpenAI zdůraznila investice do výzkumu na hranicích bezpečnosti, důsledné testování a sdílení rámců bezpečnosti, které mají zvýšit standardy v oboru. Google DeepMind poukázal na svůj vědecky řízený přístup k bezpečnosti a zavedené protokoly, které mají minimalizovat vážná rizika spojená s pokročilými modely AI dříve, než se projeví. Naopak, Institut upozornil, že xAI a Meta mají rámce řízení rizik, avšak postrádají dostatečné závazky v monitorování a kontrole či významné investice do bezpečnostního výzkumu. Firmy jako DeepSeek, Z. ai nebo Alibaba Cloud nemají veřejně dostupné dokumenty o svých bezpečnostních strategiích. Meta, Z. ai, DeepSeek, Alibaba a Anthropic neodpověděly na žádosti o komentář. xAI označilo zprávu za “lži od starých médií” a Muskův právník neodpověděl na další dotazy. Ačkoliv Musk radí a financuje Future of Life Institute, nebyl sám zapojen do tvorby Indexu bezpečnosti AI. Tegmark vyjádřil obavy, že nedostatečná regulace může umožnit teroristům vyvíjet biovojenské zbraně, zvýšit manipulační potenciál nad úroveň dneška nebo destabilizovat vlády. Zdůraznil, že tyto problémy jsou řešitelné: je třeba zavést závazné bezpečnostní standardy pro společnosti vyvíjející AI. Zatímco některé vládní snahy mají za cíl posílit dohled nad AI, technologický lobbing takové regulace odmítá, obávaje se utažení inovací nebo odchodu firem do jiných zemí. Přesto novela zákona v Kalifornii SB 53, kterou podepsal guvernér Gavin Newsom v září, požaduje, aby společnosti zveřejňovaly své bezpečnostní a bezpečnostní protokoly a hlásily incidenty jako kybernetické útoky. Tegmark tuto legislativu považuje za krok správným směrem, ale zdůrazňuje, že je třeba udělat podstatně víc. Rob Enderle, hlavní analytik Enderle Group, označil Index za přesvědčivý přístup k regulačním výzvám v oblasti AI, ale zároveň zpochybnil schopnosti současné americké vlády zavést účinné předpisy. Varoval, že špatně navržená pravidla by mohla způsobit více škody než užitku a že současné mechanismy kontroly nejsou dostatečné, aby zajistily jejich dodržování. Celkově Index bezpečnosti AI odhaluje, že velcí vývojáři AI dosud nedokázali předvést pevné závazky k bezpečnosti, což podtrhuje naléhavou potřebu silnější regulace na ochranu lidstva před rostoucími riziky AI.