Een team ingenieurs bij BitEnergy AI, een bedrijf dat gespecialiseerd is in AI-inferentietechnologie, heeft een baanbrekende methode gerapporteerd die het energieverbruik van AI-toepassingen met 95% kan verminderen. Ze hebben hun bevindingen gepubliceerd in een paper op de arXiv-preprintserver. Naarmate AI-toepassingen steeds wijdverspreider worden, is hun gebruik enorm toegenomen, wat heeft geleid tot een aanzienlijke stijging van het energieverbruik en de kosten. Grote taalmodellen (LLM's) zoals ChatGPT vereisen bijvoorbeeld aanzienlijke rekenkracht, wat zich vertaalt in een hoog elektriciteitsverbruik. ChatGPT verbruikt bijvoorbeeld momenteel ongeveer 564 MWh per dag, voldoende om ongeveer 18. 000 Amerikaanse huishoudens van stroom te voorzien. Met de voortdurende vooruitgang in AI en de stijgende populariteit waarschuwen critici dat deze toepassingen binnen enkele jaren ongeveer 100 TWh per jaar zouden kunnen verbruiken, wat vergelijkbaar is met het energieverbruik van bitcoin mining. In deze nieuwe studie beweert het BitEnergy AI-team een methode te hebben ontdekt om de rekenvereisten voor AI-toepassingen aanzienlijk te verlagen zonder de prestaties in gevaar te brengen. De techniek is eenvoudig: in plaats van complexe floating-point vermenigvuldiging (FPM) te gebruiken, wordt gebruikgemaakt van integersoptelling.

FPM wordt gebruikt om zeer grote of zeer kleine getallen te beheren, wat precieze berekeningen mogelijk maakt, waardoor het het meest energieverslindende aspect van AI-verwerking is. De onderzoekers hebben hun benadering Lineaire-complexiteit vermenigvuldiging genoemd, die FPM benadert met integersoptelling. Testen tot nu toe wijzen erop dat deze nieuwe methode het elektriciteitsverbruik met 95% zou kunnen verminderen. De enige beperking is dat het andere hardware vereist dan wat momenteel beschikbaar is. Het onderzoeksteam meldt echter dat deze nieuwe hardware al is ontworpen, gebouwd en getest. De licentieverlening van dergelijke hardware blijft onzeker, vooral omdat Nvidia, een toonaangevende GPU-fabrikant, momenteel de AI-hardwaremarkt domineert. De reactie van het bedrijf op deze opkomende technologie zou de adoptiesnelheid aanzienlijk kunnen beïnvloeden — als de claims van de onderzoekers worden bevestigd. © 2024 Science X Network