Anthropic, стартап, добился прорыва в понимании внутреннего устройства систем искусственного интеллекта (ИИ), которые представляют сложность из-за их недостатка прозрачности. В отличие от предыдущих поколений ИИ, нейронные сети глубокого обучения разрабатывают свои собственные решения, тренируясь на данных, что делает их гибкими, но трудными для понимания. Ограниченная видимость затрудняет их использование в чувствительных областях, таких как медицина, правоохранительные органы и страхование.

Однако команда Anthropic успешно связала паттерны активности в большой языковой модели с конкретными и абстрактными понятиями, что позволило им манипулировать поведением модели. Регулируя определенные виды активности, они могли контролировать вывод, что имеет влияние на контроль и управление моделями ИИ. Хотя полное понимание этих моделей все еще находится на долгом пути, эти исследования предлагают взгляд на их функционирование.