AI әдіскерлердің өткен жылдары оралған AI бағамдарын нүктепелдікпен тексеру үшін жаңа тесттер мен нәтижелерді шешімдеу қойылды. Бүл бағалар, өте қатты жауап беру системаларындағы AI қосқыштар мен жүйелердің деректермен толқынылған AI моделдерден жауап алу жылдамдығын меңгеру мақсатын адақтайды. Бұл, ChatGPT кезіндегі пайдаланушы сұрауларына жауаптарды жеткізу кездесушілігін бағалауға мүмкіндік береді. Llama 2 таңдалып туратын бірінші жаңа бағалар, кілемдеу моделдерінің сиқырлықталуын көру үшін көп мәтінді тіл моделдеріне сұрау-жауап мәрезе тығыздамаларының тездіктер суретін меңгерумен байланыстырады. Бұл, Facebook компаниясының дамытудағы Meta бөлімінің жұмысында дамытқан және 70 биллион параметрі бар. Маған даражасында, Google, Supermicro және Nvidia компаниялары на біреу балалары болып табылады, Nvidia компаниясының H100 қосқыштарымен және оларға құздық дасатқы жасаптырған Google тарапынан жасалған серверлермен жүзеге асырылғанда көп мәтінді тіл моделінде жауаптарды жеткізу кезінде идея берді. Кейде серверлер түсіндіргіштік функциялары кем құздықтығына беталмау үшін Nvidia компаниясының күтті емес L40S қосқыштың негізіне салынған уакытын сынап алу үшін кеңкектендірілді. әрекетті белгілі тұрғыдан, Nvidia компаниясының жаңа моделдерін кремниевдегі ашықтық емделуде Nvidia-дың висиконура дамытудағы H100 қосқыштарын қолдандыратын Qualcomm AI чипті пайдаланып, сұлжымалылықты қамтиды.

Intel компаниясы да командаларына қарай, Gaudi2 қосқышаларына негізделген жағдайларға сəйкес сапалы нәтижелер анықтады. Құрамдылықтары басқаруда энергиялық эффективтілігі маңызды көлемге ие. Advanced AI чіптіктер маңызды энергияны талап ететіндей, эффективтілік пен энергиялық жүйелену арасында теңдеу табу AI компанияларына кемшілік көрсетеді. MLCommons, энергиялық заңгерлікті мәнді есептеулерді орындауға арналған жекел бағам тапсыру шарасында бүл каржыландыру саныраусын таңдайды. (Сан-Франциско жеріндегі Max A. Cherney туралы хабарлау; Jamie Freed жəне редакциялау)