Gaussian Neural Accelerator (GNA)

Архитектурна справкаFeex

Нарича се също Gaussian Neural Accelerator

Intel GNA, Gaussian and Neural Accelerator, е невронни сопроцесор с ниска консумация на енергия, предназначен за подходящи натоварвания за непрекъснато логическо извеждане (inference). Той се различава от векторните инструкции на CPU и от по-новите общи дизайни на NPU.

Какво трябва да знаете

Как работи

Поддържан софтуерен стек изпраща подходяща работа за невронни мрежи към ускорителя чрез неговия драйвер и среда за изпълнение. Структурата на модела, поддържаните операции и числовото представяне определят какво може да бъде разтоварено (offloaded). Процесорът все още участва в подготовката, неподдържаните операции и контрола на приложението.

Къде е полезно

Потискането на шума или логическото извеждане, ориентирано към реч, могат да бъдат кандидати, когато моделът и средата за изпълнение поддържат наличното поколение GNA. Самото инсталиране на приложение, което използва изкуствен интелект, не означава, че то е насочено към GNA или избягва изпълнение на CPU.

Как се проверява поддръжката и активирането

Идентифицирайте GNA устройството на платформата и поддържания драйвер/среда за изпълнение, след което направете справка с изискванията за операторите на модела и поколението в официалната документация на проекта. Използвайте диагностика на средата за изпълнение, за да потвърдите хардуерното изпълнение, вместо да предполагате разтоварване само от присъствието на устройството.

Хардуерната наличност е само първата стъпка. Драйверът, средата за изпълнение, доставчикът на изпълнение (execution provider), поддържаните оператори и числовият формат трябва да съответстват на приложението. Инспектирайте действителния избор на бекенд и резервен вариант, вместо да предполагате, че етикет за изкуствен интелект означава, че всеки модел се ускорява.

Какво не гарантира тази функция

Полето за GNA не е доказателство за поддръжка на произволни големи езикови модели, конкретно изискване за NPU TOPS или всяка версия на среда за изпълнение. Възможностите и софтуерната поддръжка на точното поколение трябва да бъдат проверени, а преминаването към чисто софтуерно изпълнение може да промени консумацията на енергия.

Съвместимост и производителност на практика

Сравнявайте пълните работни натоварвания при посочените условия, включително компилация, трансфери и неподдържани оператори. Пиковите операции в секунда зависят от предположенията за точност и броене. Те не заместват измерените латентност, пропускателна способност, консумация на енергия или точност на модела.

Практически контролен списък за проверка

Запишете точния модел на процесора или платформата, както и използваните версии на приложението, операционната система и средата за изпълнение. Запазете точния текст на действителната грешка или изискване.
Проверете документацията от производителя за този точен модел, след което инспектирайте действителните възможности и активираното състояние в средата, където работи програмата.
Сравнете всяко изискване на избрания двоичен файл или бекенд. Подобно наименувана функция, псевдоним или общ технологичен етикет не са достатъчни.
Потвърдете, че приложението е избрало планираната реализация. Използвайте неговата документирана диагностика и поддържан резервен вариант, когато изискванията не са изпълнени.
Правете по една поддържана промяна наведнъж и повтаряйте същото работно натоварване. Запазете достъпни оригиналната конфигурация и плана за възстановяване.

Ако функцията е посочена, но софтуерът не може да я използва

Започнете с точния компонент, който дава грешка. Хардуерната база данни описва записаните възможности; операционната система или хипервайзорът могат да предоставят различна ефективна среда. Грешка за невалидна инструкция (illegal-instruction) също изисква разследване на действителната сриваща се инструкция и компилацията на двоичния файл, тъй като повреда или несвързана неподдържана инструкция може да предизвика подобен симптом.

Инсталирайте версията на приложението, драйвера или средата за изпълнение, която се поддържа за точната платформа, и използвайте документираната от производителя базова или резервна компилация, ако е необходимо. Софтуерна актуализация не може да създаде инструкция, която липсва в процесора. Промените във фърмуера и политиките за сигурност трябва да следват процедурата на производителя на системата и план за възстановяване, а не общи съвети за оптимизация.

Източници и обхват на това обяснение

Intel Gaussian and Neural Accelerator library

Тези източници установяват архитектурното поведение и софтуерните изисквания. Те не проверяват независимо всяка стойност на параметър на свързана страница за хардуерен модел. За поддръжка на даден модел използвайте данните от производителя на съответната страница и проверете ефективната системна конфигурация. Тази статия не предоставя бенчмарк, сертификация или дата на независим преглед.

Източници и проверка

Редакционна собственост: Feex. Не е записана дата на независим преглед. Как проучваме.

Intel Gaussian and Neural Accelerator library · Официална GNA среда за изпълнение/библиотека, поддръжка на хардуерни поколения и случаи на използване за логическо извеждане с ниска консумация. Проверете текущия статус на поддръжка, преди да изберете ново внедряване.

Беше ли полезна тази статия?

Достатъчно е "да" или "не". Изберете причина, ако желаете, или добавете кратка бележка.