UC Santa Cruz'dan bir araştırma makalesi ve eşlik eden rapor, yalnızca 13 watt güç kullanarak modern, milyar parametreli Dil Modellerini (LLM'leri) başarıyla uygulayan yapay zeka araştırmacılarının başarısını tartışıyor. Bu güç tüketimi, 100W eşdeğer bir LED lamba kadar olup, Nvidia H100 ve H200 gibi veri merkezi GPU'ları tarafından gereken 700W'den çok daha verimlidir, gelecek Blackwell B200'e gelince, her bir GPU için 1200W'a kadar tüketebilmektedir. Araştırmacılar özelleştirilmiş FPGA donanımından faydalandılar, ancak çoğu verim kazancının açık kaynaklı yazılımlar ve mevcut yapılandırmalarda yapılan ayarlamalar aracılığıyla elde edilebileceğinin altını çiziyorlar. Başlıca kazanımlar, LLM eğitiminde ve çıkarım süreçlerinde matris çarpımının (MatMul) ortadan kaldırılmasından kaynaklanmaktadır. Performansı ve doğruluğu korurken sinir ağından MatMul'ü kaldırmak için araştırmacılar iki yöntem kullandı. İlk olarak, sayı sistemini "-1, 0 ve 1" olarak kodlayarak sayıları "üçlü" bir sistem haline getirdiler. Bu, geleneksel çarpma yerine toplama yoluyla hesaplama yapmayı mümkün kıldı. Ayrıca, zaman tabanlı hesaplamanın tanıtılması ağa etkili bir "bellek" sağlayarak daha hızlı ve daha az işlemle performans sergilemesini sağladı. Araştırmacılar, karşılaştırma için Meta'nın LLaMa LLM modelini kullandılar. Bu çalışma, sinir ağlarında üçlü sayıların kullanımı konusunda bir Microsoft makalesinden esinlenildi. Bununla birlikte, UC Santa Cruz araştırmacıları, matris çarpımını ortadan kaldırarak ve modeli açık kaynak haline getirerek daha ileri gittiler. Sonuç olarak, bu başarı bir optimizasyon sorununa indirgenebilir.

Projede yer alan yüksek lisans öğrencilerinden biri olan Rui-Jie Zhu, "Pahalı işlemi daha ucuz işlemlerle değiştirdik" diye açıklamaktadır. Bu yaklaşımın yapay zeka ve LLM çözümlerine evrensel olarak uygulanabilirliği henüz görülmese de, yapay zeka alanında önemli bir etki yaratabileceği potansiyele sahiptir. Yapay zeka endüstrisindeki son gelişmeler, yüksek bir güç talebini göstermektedir. Bu araştırma, bu talebin büyük ölçüde verimsiz işlem yöntemlerini benimseme yarışından kaynaklandığını öne sürmektedir. Arm CEO'su gibi saygın figürler, mevcut yapay zeka güç talebindeki hızlı artışın 2030 yılına kadar Amerika Birleşik Devletleri'ndeki enerjinin dörtte birini tüketebileceği konusunda endişelerini dile getirmişlerdir. Güç tüketimini mevcut miktarın 1/50'sine indirmek önemli bir ilerleme olacaktır. Umut, Meta, OpenAI, Google ve Nvidia gibi yapay zeka endüstrisinin önemli oyuncularının bu açık kaynaklı ilerlemeyi kullanmayı başaracak yollar bulmalarıdır. Daha hızlı ve daha verimli bir şekilde yapay zeka iş yüklerinin işlenmesi, insan beynine benzer işlevsellik seviyelerine ulaşmamıza daha da yaklaştırır. Bazı tahminlere göre insan beyni yaklaşık olarak günlük 0, 3 kWh veya bir Nvidia H100 tarafından gereken gücün 56'da biriyle çalışır. Bununla birlikte, birçok LLM bu tür GPU'lardan on binlerce ve aylar süren eğitim gerektirdiğinden, kendi gri maddemiz henüz geride kalmamıştır.