lang icon En
May 11, 2025, 4:15 a.m.
2457

ochrannayai безопасността на ИИ защитници приканват да се възпроизведат изчисленията на Оppenheimer за ядрения тест за ултрамощни системи

Brief news summary

Експерт по безопасността на изкуствения интелект Максим Тегмарк, професор по физика в MIT и съосновател на Института за бъдещето на живота, призовава за приемане на строги оценки на безопасността, подобни на тези, извършвани преди ядреното изпитание Trinity през 1945 година, подчертавайки екзистенциалните рискове, които представлява напредналият ИИ. Тегмарк прави паралели с историческата оценка на Артър Комптън и оценява вероятността от 90%, че супер интелигентен ИИ може да избяга от човешки контрол и да заплаши човечеството. Той предлага така наречения „Константа на Комптън“ – количествена мярка за риска от неблагонадежден ИИ, която да информира политически решения и глобални споразумения за безопасност. Това усилие съвпада с откритото писмо от 2023 година на Института за бъдещето на живота, подкрепено от над 33 000 души, включително Илон Мъск и Стив Возняк, което предупреждава за безконтролната надпревара в развитието на ИИ. Тегмарк също допринесе за „Консенсуса за приоритетите в глобалните изследвания за безопасност на ИИ“ в Сингапур, който цели да насочи важните изследвания в областта на безопасността по цял свят. Въпреки някои скептицизъм от страна на американските официални лица, международното сътрудничество и оптимизмът относно безопасното развитие на ИИ остават силни.

Компаниите за изкуствен интелект са били насърчавани да възпроизведат изчисленията за безопасност, които информираха първото ядрено тестиране на Робърт Опенхаймер, преди да пуснат ултра-мощни системи. Макс Тегмарк, виден представител в областта на безопасността на изкуствения интелект, разкри, че е изпълнил изчисления, подобни на тези, които е провел американският физик Артър Комтън преди теста Тринити. Тегмарк установил, че има 90% вероятност много напреднал изкуствен интелект да представлява съществуващ рисково събитие. Американското правителство предприело теста Тринити през 1945 година, след като било уверено, че шансът атомна бомба да запали атмосферата и да заплаши човечеството е много нисък. В статия, написана от Тегмарк и трима негови студенти от Масачузетския технологичен институт (MIT), те препоръчват изчисляването на така наречения „Константа Комтън“ — рискът, че всесилният изкуствен интелект ще избяга от човешки контрол. Комтън, в интервю през 1959 г. с американската писателка Пърл Бък, заявил, че е одобрил теста след като е оценил вероятността за неконтролирано реактивно фузионно горене на „леко по-малка“ от три милиона към едно. Тегмарк твърди, че компаниите за ИИ трябва да поемат отговорност за прецизното определяне дали изкуственият суперинтелект (ИСИ) — теоретична система, превъзхождаща човешкия интелект във всички области — ще избегне човешкия контрол. „Компаниите, които разработват суперинтелигентност, трябва да изчислят константата Комтън — вероятността да изгубим контрол върху нея“, каза той. „Нужно е не само да се казва 'чувствам се добре по въпроса'.

Те трябва да изчислят процента. “ Тегмарк предложи, че консенсус по отношение на константата Комтън, изведен от множество фирми, ще генерира „политическа воля“ за създаване на глобални стандарти за безопасност на ИИ. Като професор по физика и изследовател в областта на ИИ в MIT, Тегмарк създаде съвместно Института за бъдещето на живота — неправителствена организация, която популяризира безопасното развитие на ИИ. През 2023 г. институтът публикува открито писмо, призоваващо за пауза в създаването на мощни изкуствени интелекти. Над 33 000 души са подписали писмото, включително Илон Мъск — един от ранните поддръжници на института — и съоснователят на Apple, Стив Возняк. Писмото, издадено месеци след пускането на ChatGPT, което обяви новата ера в развитието на ИИ, предупреди, че лабораториите за ИИ участват в „извънконтролна надпревара“ за разгръщане на „все по-мощни дигитални умове“, които никой не може „да разбере, предвиди или надеждно контролира“. Тегмарк говори пред „Гардиън“, докато група експерти по ИИ — включително професионалисти от технологичната индустрия, представители на държавни агенции за безопасност и учени — разработваха нов подход за безопасното развитие на ИИ. Докладът „Коенсусът по глобални приоритети за изследвания в безопасността на ИИ“ (Singapore Consensus on Global AI Safety Research Priorities), създаден от Тегмарк, водещия компютърен учен Йошуа Бенгио и служители от водещи ИИ фирми като OpenAI и Google DeepMind, очерта три ключови области за изследвания: разработване на методи за измерване на въздействието на сегашните и бъдещите системи за ИИ; определяне на желаното поведение на ИИ и създаване на системи за постигането му; управление и контрол на поведението на ИИ. Когато коментирал доклада, Тегмарк отбеляза, че натискът за безопасно развитие на ИИ е възвърнал скоростта си след последния правителствен форум по ИИ в Париж, където американският вицепрезидент Джей Ди Ванс отхвърлил опасенията за безопасността, като заявил, че бъдещето на ИИ „няма да бъде спечелено чрез безкрайно тревожене за безопасността“. Тегмарк каза: „Наистина усещам, че мракът отпреди Париж вече е преминал и международното сътрудничество се възстановява силно. “


Watch video about

ochrannayai безопасността на ИИ защитници приканват да се възпроизведат изчисленията на Оppenheimer за ядрения тест за ултрамощни системи

Try our premium solution and start getting clients — at no cost to you

I'm your Content Creator.
Let’s make a post or video and publish it on any social media — ready?

Language

Hot news

Dec. 12, 2025, 1:42 p.m.

Дисни изпраща заповед за спиране и възбрана до Гу…

Компанията Уолт Дисни започна значителна правна акция срещу Google, като изпрати забрана и протестно писмо, в което обвинява технологичния гигант за използване на защитено с авторски права съдържание на Дисни при обучението и разработването на генеративни изкуствени интелигентности (ИИ) без да осигурява компенсация.

Dec. 12, 2025, 1:35 p.m.

Изкуственият интелект и бъдещето на оптимизацията…

Как напредва изкуственият интелект (ИИ) и все по-силно интегрира в цифровия маркетинг, неговото влияние върху оптимизацията за търсачки (SEO) става все по-значително.

Dec. 12, 2025, 1:33 p.m.

Изкуствен интелект: MiniMax и Zhipu AI планират л…

МиниМакс и Zhipu AI, две водещи компании в областта на изкуствения интелект, съобщават, че подготвят ли да се първоначално пускане на борсата в Хонконг вече още януари следващата година.

Dec. 12, 2025, 1:31 p.m.

OpenAI назначава изпълнителния директор на Slack,…

Денис Дресър, изпълнителен директор на Slack, ще напусне позицията си, за да стане главен директор по приходите в OpenAI, компанията зад ChatGPT.

Dec. 12, 2025, 1:30 p.m.

Техники за синтез на видео с изкуствен интелект п…

Индустрията на филмите претърпява голяма трансформация, тъй като студията все по-често внедряват техники за синтезиране на видео с изкуствен интелект (ИИ), за да подобрят работните процеси в постпродукцията.

Dec. 12, 2025, 1:24 p.m.

19 най-добри AI инструмента за социални мрежи, ко…

ИИ революционизира социалните медии маркетинг като предлага инструменти, които опростяват и подобряват ангажираността на аудиторията.

Dec. 12, 2025, 9:42 a.m.

AI инфлуенсъри в социалните медии: възможности и …

Появата на влиятели, създати с помощта на изкуствен интелект, в социалните медии означава съществен промяна в дигиталната среда, отключвайки широки дебати относно автентичността на онлайн взаимодействията и етичните въпроси, свързани с тези виртуални личности.

All news

AI Company

Launch your AI-powered team to automate Marketing, Sales & Growth

and get clients on autopilot — from social media and search engines. No ads needed

Begin getting your first leads today