Научная статья и сопровождающий текст от UC Santa Cruz обсуждают достижение исследователей в области искусственного интеллекта, которые успешно реализовали современные модели языка (LLM) с масштабом до миллиарда параметров, используя всего 13 ватт энергии. Энергопотребление на этом уровне сравнимо с 100-ваттным светодиодным эквивалентом, но заметно более эффективно, чем 700 ватт, требуемые для графических процессоров центров обработки данных, таких как Nvidia H100 и H200, не говоря уже о предстоящем Blackwell B200, который может потреблять до 1200 ватт на графический процессор. Исследователи использовали специальное программное обеспечение на базе FPGA для своей работы, но они подчеркивают, что большую часть эффективности можно достичь с помощью программного обеспечения с открытым исходным кодом и настройками существующих систем. Основной выигрыш связан с устранением умножения матриц (MatMul) как в процессе обучения, так и в процессе вывода LLM. Для удаления MatMul из нейронной сети, сохраняя при этом производительность и точность, исследователи использовали два метода. Во-первых, они преобразовали числовую систему в "троичную" систему, кодируя числа как -1, 0 и 1. Это позволило вычислениям осуществляться путем сложения, а не традиционного умножения. Кроме того, введение временного вычисления обеспечило сети эффективную "память", позволяющую ей функционировать быстрее с меньшим количеством операций. Исследователи использовали модель LLaMa LLM от Meta в качестве основной модели для сравнения. Эта работа была вдохновлена статьей Microsoft о применении троичных чисел в нейронных сетях, однако исследователи из UC Santa Cruz пошли дальше, устраняя умножение матриц и делая свою модель доступной с открытым исходным кодом. В конечном счете, это достижение сводится к проблеме оптимизации.

Руй-Джи Чжу, один из причастных к проекту аспирантов, объясняет: "Мы заменили дорогостоящую операцию более дешевыми операциями". Все еще предстоит увидеть, насколько универсально это подходит для ИИ и решений LLM, но это имеет потенциал существенно повлиять на область искусственного интеллекта. Недавние разработки в индустрии искусственного интеллекта показали высокий спрос на энергию. Это исследование предполагает, что большая часть этого спроса была обусловлена гонкой за первенство в применении неэффективных методов обработки. Уважаемые фигуры, такие как генеральный директор Arm, выразили опасения, что текущая тенденция к увеличению потребности в энергии в области искусственного интеллекта к 2030 году может потреблять четверть энергии Соединенных Штатов. Снижение энергопотребления до 1/50 от текущего значения представляло бы существенное улучшение. Надежда заключается в том, что крупные игроки в индустрии искусственного интеллекта, такие как Meta, OpenAI, Google и Nvidia, найдут способы использовать это открытие с открытым исходным кодом. Более быстрая и эффективная обработка нагрузки работы ИИ приблизила бы нас к достижению уровней функциональности, сравнимых с человеческим мозгом, который, по некоторым оценкам, работает примерно на 0, 3 кВтч в день, то есть в 56 раз меньше энергии, требуемой Nvidia H100. Однако важно отметить, что многие модели LLM требуют десятки тысяч таких графических процессоров и месяцев тренировки, что означает, что наша собственная серая материя пока еще непобеждаема.