Китайская лаборатория представила одну из самых мощных «открытых» моделей ИИ на сегодняшний день, названную DeepSeek V3. Разработанная фирмой DeepSeek, она была выпущена в среду под разрешительной лицензией, позволяющей разработчикам загружать и модифицировать её для большинства целей, включая коммерческие приложения. DeepSeek V3 превосходит в различных задачах, связанных с текстами, таких как программирование, перевод и написание эссе и писем по запросам. Согласно внутренним тестам DeepSeek, DeepSeek V3 превосходит как доступные для скачивания «открытые» модели, так и «закрытые» модели ИИ, которые доступны только через API. В соревнованиях по программированию на платформе Codeforces DeepSeek превосходит другие модели, включая Llama 3. 1 405B от Meta, GPT-4o от OpenAI и Qwen 2. 5 72B от Alibaba. Она также выделяется в тесте Aider Polyglot, который предназначен для оценки способности модели писать новый код, интегрирующийся с существующим. DeepSeek V3 была обучена на наборе данных из 14, 8 триллионов токенов. В области науки о данных токены представляют собой части необработанных данных, причем 1 миллион токенов примерно эквивалентен 750 000 словам. Модель также огромна по размеру, имеет 671 миллиард параметров (или 685 миллиардов на платформе Hugging Face), которые являются внутренними переменными, используемыми моделями для принятия решений. Этот размер примерно в 1, 6 раза превышает 405 миллиард параметров модели Llama 3. 1 405B. Как правило, модели с большим количеством параметров работают лучше, но им также требуется мощное оборудование для эффективной работы. Неоптимизированная DeepSeek V3 нуждается в множестве высокопроизводительных GPUs для разумной скорости. Несмотря на непрактичность, DeepSeek V3 является достижением.

Компания обучила модель примерно за два месяца, используя дата-центр с Nvidia H800 GPUs, которые недавно были запрещены для покупки китайскими компаниями Министерством торговли США. Компания утверждает, что потратила лишь 5, 5 миллионов долларов на обучение DeepSeek V3, что является малой долей стоимости таких моделей, как GPT-4 от OpenAI. Тем не менее, политические взгляды модели несколько ограничены. Например, она не будет комментировать тему площади Тяньаньмэнь. Как китайская компания, DeepSeek подчиняется китайскому интернет-регулированию, гарантируя, что ответы модели поддерживают «основные социалистические ценности». Многие китайские системы ИИ избегают тем, способных вызвать недовольство регулирующих органов, таких как обсуждения режима Си Цзиньпина. Недавно представившая DeepSeek-R1 как конкурента модели «рассуждений» o1 от OpenAI, DeepSeek является интригующей организацией. Поддерживаемая китайским хедж-фондом High-Flyer Capital Management, использующим ИИ для торговли, компания строит собственные серверные кластеры для обучения моделей, один из которых включает 10 000 Nvidia A100 GPUs и стоит 1 миллиард йен (~138 миллионов долларов). Основанная выпускником факультета компьютерных наук Лян Венфэном, High-Flyer стремится достичь «сверхразумного» ИИ через DeepSeek. В интервью ранее в этом году Венфэн описал закрытый исходный код ИИ как временное преимущество. «[Это] не помешало другим догнать их», заметил он. Действительно.