Являются ли компании, занимающиеся искусственным интеллектом, должным образом защищают человечество от рисков искусственного интеллекта?Согласно новому рейтингу Института будущего жизни — не очень вероятно. По мере того как ИИ становится всё более неотъемлемой частью взаимодействия человека с технологиями, появляются потенциальные угрозы — начиная от случаев, когда люди используют чат-боты ИИ для консультирования и потом совершают суицид, и заканчивая кибератаками с использованием ИИ. Также стоят на горизонте будущие риски, такие как применение ИИ в оружие или попытки дестабилизации правительств. Однако стимулов для ИИ-компаний придавать приоритет глобальной безопасности недостаточно. Недавний опубликованный Индекс безопасности ИИ Института подчеркивает эту проблему. Максим Тегмарк, президент Института и профессор MIT, отметил, что компании по развитию ИИ — единственная крупная индустрия в США, которая создает мощные технологии без регулирования, что создает «гонку на дно», в которой вопросы безопасности зачастую игнорируются. Максимальные оценки в индексе дали только C+, что досталось OpenAI — разработчику ChatGPT — и компании Anthropic, известной своим чат-ботом Claude. Дивизион ИИ Google, Google DeepMind, получил оценку C. Ниже — D поставили Meta (материнская компания Facebook) и xAI Илона Маска, оба расположены рядом с Пало-Альто. Китайские компании Z. ai и DeepSeek тоже получили D. Самая низкая оценка — D- — у Alibaba Cloud. Компании оценивались по 35 показателям, охватывающим шесть категорий, таких как безопасность существования, оценка рисков и обмен информацией. Оценка основывалась на открытых данных и ответах компаний в анкетах, которые анализировали восемь экспертов по ИИ, среди которых учёные и руководители организаций. Все фирмы — и Google DeepMind, и OpenAI — получили ниже среднего балла по внутренним механизмам обеспечения безопасности, которые измеряют контроль и стратегии предотвращения катастрофического неправильного использования ИИ.

В отчёте заявлено, что ни одна из них не продемонстрировала надёжных планов по предотвращению потери контроля или тяжёлых злоупотреблений по мере развития ИИ к уровню общего и сверхинтеллекта. Тем не менее, обе компании подтвердили свою приверженность безопасности. OpenAI подчеркнула свою инвестицию в передовые исследования в области безопасности, строгие тесты и деление рамками безопасности для повышения стандартов отрасли. Google DeepMind отметила свой научно-обоснованный подход к безопасности и протоколы по снижению серьёзных рисков от развитых моделей ИИ до их возникновения. В то же время, Институт указал, что xAI и Meta имеют рамочные программы по управлению рисками, но не обеспечивают должного контроля и мониторинга или существенных инвестиций в исследования безопасности. Компании, такие как DeepSeek, Z. ai и Alibaba Cloud, не предоставили открытой документации по стратегиям безопасности. Meta, Z. ai, DeepSeek, Alibaba и Anthropic не ответили на запросы о комментариях. xAI назвала отчёт «ложью устаревших СМИ», а адвокат Маска не ответил на дальнейшие запросы. Хотя Илон Маск консультирует и финансирует Институт будущего жизни, он не принимал участия в создании Индекса безопасности ИИ. Тегмарк высказался, что недостаточное регулирование может дать террористам возможность разработать биологическое оружие, повысить манипулятивный потенциал за нынешний уровень или дестабилизировать правительства. Он подчеркнул, что решить эти проблемы очень просто: установить обязывающие стандарты безопасности для компаний, работающих с ИИ. Некоторые усилия правительства направлены на усиление надзора за ИИ, однако лоббизм технологической индустрии против таких мер в страхе тормознуть инновации или вызвать миграцию компаний. Тем не менее, такие законы, как закон штата Калифорния SB 53, подписанный Гавином Ньюсом в сентябре, требуют от компаний раскрывать свои протоколы безопасности и сообщать о случаях кибератак. Тегмарк считает, что это прогресс, но необходимо значительно больше действий. Роб Эндерл, главный аналитик компании Enderle Group, назвал Индекс безопасности ИИ важным инструментом для регулирования ИИ, однако выразил сомнения в способности текущей администрации США реализовать эффективные меры. Он предупредил, что плохо продуманные правила могут принести вред и сомневается, что в настоящее время существуют механизмы их принуждения к выполнению. В целом, Индекс безопасности ИИ показывает, что крупные разработчики ещё не продемонстрировали наличие прочных обязательств по безопасности, что подчеркивает необходимость ужесточения регулирования для защиты человечества от растущих рисков ИИ.