Inception, et nystartet selskap i Palo Alto, initiert av Stanford datavitenskapsprofessor Stefano Ermon, påstår å ha skapt en banebrytende AI-modell som bruker "diffusjon" teknologi. Denne innovative modellen omtales som en diffusjonsbasert stor språkmodell, eller "DLM" for kort. Per nå kan de generative AI-modellene som får mest oppmerksomhet kategoriseres i to hovedtyper: store språkmodeller (LLMs) og diffusjonsmodeller. LLM-er, som er designet på transformerarkitektur, spesialiserer seg på tekstgenerering. På den annen side fokuserer diffusjonsmodeller, teknologien bak AI-plattformer som Midjourney og OpenAIs Sora, hovedsakelig på å generere bilder, video og lyd. Ifølge Inception kombinerer modellen deres evnene til konvensjonelle LLM-er—som kodegenerering og spørsmål-svar—med betydelig forbedret hastighet og lavere datakostnader. Ermon delte med TechCrunch at han lenge har utforsket bruken av diffusjonsmodeller for tekstgenerering i forskningslaboratoriet sitt ved Stanford. Arbeidet hans oppsto fra observasjonen av at tradisjonelle LLM-er opererer med en tregere hastighet sammenlignet med diffusjonsteknologier. Med LLM-er forklarte Ermon, “kan du ikke generere det andre ordet før du har produsert det første, og det tredje ordet kan ikke genereres før de to første er fullført. ” Ermon bemerket at i motsetning til LLM-er som opererer sekvensielt, begynner diffusjonsmodeller med en grov tilnærming av utfallet (for eksempel et bilde) og raffinerer dataene grundig i ett trinn. Ermon teoretiserte at det å generere og modifisere store tekstblokker parallelt kunne være mulig ved hjelp av diffusjonsmodeller.

Etter flere års forskning oppnådde han og en av studentene hans et betydelig gjennombrudd, som de dokumenterte i en forskningsartikkel publisert i fjor. For å anerkjenne potensialet i denne fremgangen opprettet Ermon Inception i fjor sommer, og hentet inn tidligere studenter Aditya Grover, professor ved UCLA, og Volodymyr Kuleshov fra Cornell University for å lede satsingen sammen. Selv om Ermon valgte å ikke avsløre spesifikke detaljert om finansieringen av Inception, har TechCrunch fått vite at Mayfield Fund er blant investorene. Inception har allerede sikret kontrakter med ulike kunder, inkludert anonyme Fortune 100-selskaper, ved å imøtekomme deres presserende krav om lavere AI-latens og høyere hastighet, ifølge Ermon. “Modellene våre kan utnytte GPU-er betydelig mer effektivt, ” hevdet Ermon, og refererte til grafiske prosesseringsenheter som vanligvis brukes til å kjøre produksjonsmodeller. “Jeg tror dette er transformativt og vil endre hvordan språkmodeller utvikles. ” Selskapet tilbyr en API sammen med alternativer for distribusjon på stedet og kant-enheter, støtte for modelltilpasning, og en rekke klare DLM-er skreddersydd for ulike applikasjoner. Inception påstår at DLM-ene deres kan operere opptil 10 ganger raskere enn tradisjonelle LLM-er, samtidig som de har kostnader som også er 10 ganger lavere. En selskapsrepresentant informerte TechCrunch: “Vår 'lille' kode-modell er lik ytelsen til [OpenAIs] GPT-4o mini, men opererer mer enn 10 ganger raskere. Vår 'mini' modell overgår små open-source alternativer som [Metas] Llama 3. 1 8B, og oppnår mer enn 1 000 tokens per sekund. ”