Een editie van dit verhaal verscheen in de Nightcap-nieuwsbrief van CNN Business. Meld je hier aan om deze gratis in je inbox te ontvangen. Twee jaar geleden introduceerde OpenAI ChatGPT, wat een soort goudkoorts veroorzaakte in kunstmatige intelligentie. Miljarden worden geïnvesteerd in bedrijven die zich op AI richten of hiermee verband houden, gedreven door de verwachting dat deze technologie elk aspect van het hedendaagse leven zal transformeren (of mogelijk verstoren). De boodschap vanuit Silicon Valley is duidelijk: de AI-revolutie is aan de gang, en slimme investeerders moeten instappen voordat deze innovaties "superintelligent" worden en alle problemen van de wereld beginnen aan te pakken. Voor vaste gelovigen is dit geen overdrijving, en zulke verwachtingen hebben bedrijven zoals chipmaker Nvidia, wiens winsten woensdag worden aangekondigd, tot enkele van de meest gewaardeerde wereldwijde activa gemaakt. Centraal in dit verhaal staat het idee dat grote taalmodellen (LLM's), zoals ChatGPT, zich snel blijven ontwikkelen. Echter, AI-critici waarschuwen al jaren voor “schaalwetten”—suggereert dat de prestaties van een model voortdurend kunnen verbeteren door simpelweg meer data en computerbronnen toe te voegen. Dit zijn meer gefundeerde gissingen dan daadwerkelijke wetten. In werkelijkheid begrijpen zelfs ontwikkelaars van LLM's niet volledig hoe ze werken. Recent lijkt het erop dat sommige toonaangevende taalmodellen beperkingen bereiken, volgens drie rapporten van vorige week.

Zie hier: OpenAI CEO Sam Altman weerlegde deze beweringen en postte vorige week op X dat "er geen muur is. " Of het nu wordt gezien als een muur, berg of plateau, zelfs AI-aanhangers erkennen een mogelijk keerpunt, te oordelen naar recente productreleases. “We hebben al een tijdje geen doorbrachmodellen gezien, ” verklaarde Gil Luria, managing director bij D. A. Davidson. “We hebben alle beschikbare menselijke data benut, en meer computerkracht verbetert mogelijk de resultaten niet. ” Dit is een technisch probleem maar cruciaal om de grenzen van modellen te begrijpen: Om AI menselijk te laten lijken, moeten ze getraind worden met menselijke data, wat in feite al de tekst of audio online dekt. Zodra geabsorbeerd, is er geen "echte" nieuwe data voor training. Voor alle duidelijkheid, een plateau is niet noodzakelijkerwijs een fatale klap voor de AI-industrie. Echter, het presenteert uitdagingen, vooral nu Wall Street zich afvraagt wanneer deze kostbare producten tastbare inkomsten zullen genereren. Bedrijven zoals Nvidia, gewaardeerd op bijna $3, 5 biljoen, en andere grote AI-bedrijven zullen waarschijnlijk niet onmiddellijk met schaalproblemen worden geconfronteerd. “De vraag naar Nvidia vorig kwartaal en dit kwartaal overtrof hun aanbod, ” legde Luria uit. Toch, als een schaalbeperking is bereikt, “zou dit kunnen aangeven dat mega-cap technologische bedrijven overgeïnvesteerd hebben” en zich binnenkort kunnen terugtrekken. Dat is het optimist/pragmatist standpunt van AI. Voor een minder optimistisch perspectief, raadpleegde ik Gary Marcus, emeritus professor aan NYU en een uitgesproken AI-scepticus.