Et team af ingeniører hos BitEnergy AI, en virksomhed specialiseret i AI inferens teknologi, har rapporteret en banebrydende metode, der kan reducere energiforbruget af AI applikationer med 95%. De har publiceret deres resultater i en artikel på arXiv preprint serveren. Som AI applikationer bliver mere udbredte, er deres brug steget, hvilket har resulteret i en markant stigning i energiforbrug og omkostninger. For eksempel kræver store sprogmodeller (LLMs) som ChatGPT betydelig computerkraft, hvilket oversættes til højt elforbrug. ChatGPT bruger for eksempel i øjeblikket cirka 564 MWh om dagen, nok til at forsyne omkring 18. 000 amerikanske hjem. Med løbende fremskridt inden for AI og stigende popularitet, advarer kritikere om, at disse applikationer kunne forbruge omkring 100 TWh årligt inden for få år, hvilket vil svare til energiforbruget ved Bitcoin-mining. I denne nye undersøgelse hævder BitEnergy AI teamet, at de har opdaget en metode til at reducere de beregningsmæssige krav til AI applikationer betydeligt uden at gå på kompromis med ydeevnen. Teknikken er ligetil: i stedet for at bruge kompleks flydende-punkts multiplikation (FPM), benytter den heltalsaddition. FPM bruges til at håndtere meget store eller meget små tal, der muliggør præcise beregninger, hvilket gør det til den mest energikrævende del af AI behandling. Forskerne har navngivet deres tilgang Linear-Complexity Multiplication, der tilnærmer FPM ved brug af heltalsaddition.

Test indikerer indtil nu, at denne nye metode kunne reducere elforbruget med 95%. Den ene begrænsning er, at det kræver anderledes hardware end det, der er tilgængeligt i øjeblikket. Forskerholdet nævner dog, at denne nye hardware allerede er designet, bygget og testet. Licenseringen af sådan hardware forbliver usikker, især da Nvidia, en førende GPU producent, i øjeblikket dominerer AI hardware markedet. Virksomhedens respons på denne nye teknologi kan markant påvirke dens adoptionsrate—hvis forskernes påstande bekræftes. © 2024 Science X Network