Nvidia, känd som tech-företagens Taylor Swift, innehar majoriteten av marknaden inom AI-chipstillverkning, med kunder som är villiga att betala ett högt pris och vänta på deras teknologi. Svårigheten att byta ut chips och effektiviteten i Nvidias CUDA-programvara bidrar till deras lojala kundbas. Men nyliga tillkännagivanden från företag som Meta, Alphabet och AMD indikerar en potentiell hot mot Nvidias marknadsdominans. Att byta mellan olika chips för olika AI-uppgifter är utmanande för utvecklare och det skapar möjligheter för konkurrenter.

Programvara spelar en allt viktigare roll för att optimera olika hårdvaruplattformar och minska beroendet av en enda leverantör som Nvidia. Även om Nvidia utmärker sig inom träning av AI-modeller är deras GPU:er inte lika lämpliga för inferens, vilket påverkar vinstmarginalerna. Startups som Groq utvecklar specialiserade chips för inferens för att adressera denna brist. Trots deras skillnader ser Groq Nvidia som en kollega snarare än en konkurrent och tror att ökad framgång inom inferens kommer att leda till mer utgifter för träning och följaktligen ökade försäljningar för Nvidia.