Сегодня огромные языковые модели, используемые в искусственном интеллекте, являются выдающимися достижениями. Их впечатляющие языковые возможности и обширные знания являются результатом значительных объемов данных, капитала и времени. Стоимость разработки может превышать 100 миллионов долларов США, а тестирование и доработка моделей занимают месяцы как у людей, так и у машин. Эти модели проходят итерационные процессы, миллионы раз совершенствуясь в стремлении приблизиться к "правильному ответу" и улучшаясь с каждой попыткой.

Однако кодирование человеческих ценностей остается сложной задачей. Этот дополнительный шаг, называемый обучением с подкреплением на основе человеческой обратной связи, предполагает использование ответов программистов для обучения модели быть полезной и точной. Для обеспечения безопасности и соответствия человеческим ценностям "красные команды" намеренно провоцируют программу, чтобы выявить любые потенциально вредные результаты. Такое сочетание человеческих корректировок и ограждений оказалось достаточно эффективным для поддержания соответствия ИИ человеческим ценностям и общей безопасности.