С внедрением искусственного интеллекта в продукты и нашу повседневную жизнь технологические компании сталкиваются с трудностями в прогнозировании и объяснении поведения своих систем ИИ. Этот недостаток понимания широко признан разработчиками ИИ, но не известен всем остальным, что делает его наиболее тревожным аспектом нынешнего бума ИИ. В отличие от традиционных компьютерных систем, которые постоянно выдают одинаковый результат при одинаковых входных данных, генеративный ИИ вводит уровень случайности в огромных масштабах, включающих триллионы переменных. Соответственно, становится сложно разгадать процесс, с помощью которого технология достигает определенного результата. Недавно группа исследователей продемонстрировала, что пользователи могут обойти защитные функции, призванные предотвратить выдачу системами ИИ инструкций по вредным действиям, например, по изготовлению бомб. В этой области, когда разработчики пытаются объяснить поведение систем искусственного интеллекта, преобладает опора на устные традиции и общие приемы.

Следует отметить, что эти системы могут быть настроены на различный уровень случайности, что приводит к более широким или более специфическим реакциям. Однако механизмы, лежащие в основе их работы, часто кажутся загадочными. С другой стороны, некоторые специалисты утверждают, что понятие" непонимание ИИ" является удобным оправданием. Будущее остается неопределенным, смогут ли разработчики ИИ со временем дать более подробные объяснения того, почему и как работают их системы.