Chińskie laboratorium zaprezentowało jeden z najpotężniejszych "otwartych" modeli AI, zwany DeepSeek V3. Opracowany przez firmę AI DeepSeek, został wydany w środę na licencji pozwalającej programistom na pobieranie i modyfikowanie go do większości zastosowań, w tym komercyjnych. DeepSeek V3 wyróżnia się w rozmaitych zadaniach tekstowych, takich jak programowanie, tłumaczenie i pisanie esejów oraz e-maili na podstawie podpowiedzi. Według wewnętrznych testów DeepSeek, DeepSeek V3 przewyższa zarówno dostępne do pobrania, "otwarte" modele, jak i "zamknięte" modele AI, które są dostępne jedynie przez API. W konkursach programistycznych na Codeforces, platformie do zawodów programistycznych, DeepSeek przewyższa inne modele, w tym Llama 3. 1 405B od Meta, GPT-4o od OpenAI i Qwen 2. 5 72B od Alibaba. Model ten również doskonale radzi sobie w teście Aider Polyglot, stworzonym do oceny, czy model potrafi pisać nowy kod integrujący się z istniejącym kodem. DeepSeek V3 został wyszkolony na zbiorze danych obejmującym 14, 8 bilionów tokenów. W nauce o danych tokeny reprezentują fragmenty surowych danych, przy czym 1 milion tokenów to około 750 000 słów. Model jest również ogromny pod względem rozmiaru, z 671 miliardami parametrów (lub 685 miliardami na platformie AI Hugging Face), które są wewnętrznymi zmiennymi używanymi przez modele do podejmowania decyzji. Ten rozmiar to około 1, 6 razy więcej niż 405 miliardów parametrów Llama 3. 1 405B. Zwykle modele z większą ilością parametrów działają lepiej, ale wymagają również potężnego sprzętu do efektywnego działania. Nieoptymalizowany DeepSeek V3 potrzebuje banku wysokiej klasy GPU do osiągania rozsądnych prędkości. Pomimo swojej niepraktyczności, DeepSeek V3 jest osiągnięciem. DeepSeek wyszkolił model w ciągu około dwóch miesięcy, korzystając z centrum danych Nvidia H800 GPU, które niedawno zostały zakazane do nabycia przez chińskie firmy przez Departament Handlu USA.

Firma twierdzi, że wydała jedynie 5, 5 miliona dolarów na trenowanie DeepSeek V3, co stanowi ułamek kosztów modeli takich jak GPT-4 od OpenAI. Jednak poglądy polityczne modelu są w pewnym stopniu ograniczone. Na przykład nie komentuje tematu placu Tiananmen. Jako chińska firma, DeepSeek podlega chińskim regulacjom internetowym, zapewniając, że odpowiedzi modelu podtrzymują "wartości socjalistyczne". Wiele chińskich systemów AI unika tematów, które mogą nie spodobać się regulatorom, jak dyskusje o reżimie Xi Jinpinga. DeepSeek, które niedawno wprowadziło DeepSeek-R1 jako konkurenta OpenAI’s o1 "reasoning" model, jest interesującą organizacją. Jest wspierane przez High-Flyer Capital Management, chiński fundusz hedgingowy używający AI do handlu. High-Flyer buduje własne klastry serwerów do szkolenia modeli, z których jeden podobno zawiera 10 000 GPU Nvidia A100 i kosztuje 1 miliard jenów (~138 milionów dolarów). Założony przez Liang Wenfenga, absolwenta informatyki, High-Flyer dąży do osiągnięcia "superinteligentnego" AI przez DeepSeek. Wenfeng, w wywiadzie na początku tego roku, opisał zamknięte źródła AI, jak te od OpenAI, jako "tymczasową" przewagę. "[To] nie powstrzymało innych od dogonienia, " zauważył. Rzeczywiście.