Et kinesisk laboratorium har avduket en av de kraftigste "åpne" AI-modellene til dags dato, kalt DeepSeek V3. Utviklet av AI-selskapet DeepSeek, ble den lansert onsdag under en tillatende lisens, som gjør det mulig for utviklere å laste ned og modifisere modellen for de fleste bruksområder, inkludert kommersielle applikasjoner. DeepSeek V3 utmerker seg i ulike tekstbaserte oppgaver som koding, oversetting, og skriving av essays og e-poster fra oppfordringer. Ifølge DeepSeeks interne tester, overgår DeepSeek V3 både nedlastbare "åpne" modeller og "lukkede" AI-modeller som kun er tilgjengelige via en API. I kodekonkurranser på Codeforces, en plattform for programmeringskonkurranser, overgår DeepSeek andre modeller, inkludert Metas Llama 3. 1 405B, OpenAIs GPT-4o, og Alibabas Qwen 2. 5 72B. Den utmerker seg også i Aider Polyglot-testen, som er designet for å vurdere om en modell kan skrive ny kode som integreres med eksisterende kode. DeepSeek V3 ble trent på et datasett med 14, 8 billioner tokens. I datavitenskap representerer tokens deler av rådata, hvor 1 million tokens tilsvarer omtrent 750 000 ord. Modellen er også massiv i størrelse, med 671 milliarder parametere (eller 685 milliarder på AI-utviklingsplattformen Hugging Face), som er de interne variablene modellene bruker for å ta beslutninger. Denne størrelsen er omtrent 1, 6 ganger Llama 3. 1 405Bs 405 milliarder parametere. Vanligvis presterer modeller med flere parametere bedre, men de krever også kraftig maskinvare for å kjøre effektivt. En ikke-optimalisert DeepSeek V3 trenger en bank av high-end GPUer for rimelige hastigheter. Til tross for sin upraktiskhet, er DeepSeek V3 en prestasjon.

DeepSeek trente modellen på omtrent to måneder ved bruk av et datasenter av Nvidia H800 GPUer, som kinesiske selskaper nylig ble forhindret fra å anskaffe av det amerikanske handelsdepartementet. Selskapet hevder det bare brukte 5, 5 millioner dollar for å trene DeepSeek V3, en brøkdel av kostnaden for modeller som OpenAIs GPT-4. Imidlertid er modellens politiske synspunkter noe begrenset. For eksempel, vil den ikke kommentere Tiananmen-plassen. Som et kinesisk selskap er DeepSeek underlagt kinesisk internettregulering, som sikrer at modellens svar opprettholder "kjerne sosialistiske verdier. " Mange kinesiske AI-systemer unngår emner som kan opprøre regulatorer, slik som diskusjoner om Xi Jinping-regimet. DeepSeek, som nylig introduserte DeepSeek-R1 som en konkurrent til OpenAIs o1 "reasoning" modell, er en interessant organisasjon. Den er støttet av High-Flyer Capital Management, et kinesisk hedgefond som bruker AI til trading. High-Flyer bygger sine egne serverklynger for modelltrening, som angivelig inkluderer 10 000 Nvidia A100 GPUer og koster 1 milliard yen (~138 millioner dollar). Startet av Liang Wenfeng, en datavitenskapsutdannet, har High-Flyer som mål å oppnå "superintelligent" AI gjennom DeepSeek. Wenfeng, i et intervju tidligere i år, beskrev lukkede AI-kilder som OpenAIs som en “midlertidig” fordel. "[Det] har ikke stoppet andre fra å ta igjen, " observerte han. Faktisk.