Невронен процесор (NPU)

Архитектурна справкаFeex

NPU е процесор, проектиран за поддържани натоварвания с невронни мрежи, често с акцент върху ефективно логическо извеждане (inference). Общият етикет не описва универсален набор от инструкции или стандарт за съвместимост на приложенията.

Какво трябва да знаете

Как работи

Средата за изпълнение на NPU разделя модела на поддържани операции, избира числови представяния и планира работата върху наличния ускорител. Някои оператори може да останат на CPU или GPU. Прехвърлянията, синхронизацията, компилацията и зареждането на модела са част от пълния път на изпълнение.

Къде е полезно

Приложение може да използва поддържан доставчик на изпълнение (execution provider), за да изпълни подходящ модел на NPU. Граф, който тихо преминава към резервен вариант за критичен оператор, може да се държи много различно от такъв, който остава изцяло на ускорителя, дори на същото устройство.

Как се проверява поддръжката и активирането

Идентифицирайте точния модел и поколение на NPU, поддържания драйвер за ОС, версията на средата за изпълнение и доставчика на изпълнение. Проверете поддръжката на оператори, изискванията за памет и диагностиката за връщане към резервен вариант с действителния модел, а не само чрез запис в диспечера на устройствата.

Хардуерната наличност е само първата стъпка. Драйверът, средата за изпълнение, доставчикът на изпълнение (execution provider), поддържаните оператори и числовият формат трябва да съответстват на приложението. Инспектирайте действителния избор на бекенд и резервен вариант, вместо да предполагате, че етикет за изкуствен интелект означава, че всеки модел се ускорява.

Какво не гарантира тази функция

Наличието на NPU не гарантира определена стойност на TOPS, числова точност, предположение за разреденост (sparsity), поддържан размер на модела или сертификация на ОС. Стойностите на TOPS, измерени при различни условия, не са пряко сравними бенчмаркове за приложения.

Съвместимост и производителност на практика

Сравнявайте пълните работни натоварвания при посочените условия, включително компилация, трансфери и неподдържани оператори. Пиковите операции в секунда зависят от предположенията за точност и броене. Те не заместват измерените латентност, пропускателна способност, консумация на енергия или точност на модела.

Практически контролен списък за проверка

Запишете точния модел на процесора или платформата, както и използваните версии на приложението, операционната система и средата за изпълнение. Запазете точния текст на действителната грешка или изискване.
Проверете документацията от производителя за този точен модел, след което инспектирайте действителните възможности и активираното състояние в средата, където работи програмата.
Сравнете всяко изискване на избрания двоичен файл или бекенд. Подобно наименувана функция, псевдоним или общ технологичен етикет не са достатъчни.
Потвърдете, че приложението е избрало планираната реализация. Използвайте неговата документирана диагностика и поддържан резервен вариант, когато изискванията не са изпълнени.
Правете по една поддържана промяна наведнъж и повтаряйте същото работно натоварване. Запазете достъпни оригиналната конфигурация и плана за възстановяване.

Ако функцията е посочена, но софтуерът не може да я използва

Започнете с точния компонент, който дава грешка. Хардуерната база данни описва записаните възможности; операционната система или хипервайзорът могат да предоставят различна ефективна среда. Грешка за невалидна инструкция (illegal-instruction) също изисква разследване на действителната сриваща се инструкция и компилацията на двоичния файл, тъй като повреда или несвързана неподдържана инструкция може да предизвика подобен симптом.

Инсталирайте версията на приложението, драйвера или средата за изпълнение, която се поддържа за точната платформа, и използвайте документираната от производителя базова или резервна компилация, ако е необходимо. Софтуерна актуализация не може да създаде инструкция, която липсва в процесора. Промените във фърмуера и политиките за сигурност трябва да следват процедурата на производителя на системата и план за възстановяване, а не общи съвети за оптимизация.

Източници и обхват на това обяснение

AMD XDNA architecture · ONNX Runtime execution providers

Тези източници установяват архитектурното поведение и софтуерните изисквания. Те не проверяват независимо всяка стойност на параметър на свързана страница за хардуерен модел. За поддръжка на даден модел използвайте данните от производителя на съответната страница и проверете ефективната системна конфигурация. Тази статия не предоставя бенчмарк, сертификация или дата на независим преглед.

Източници и проверка

Редакционна собственост: Feex. Не е записана дата на независим преглед. Как проучваме.

AMD XDNA architecture · Базирана на плочки (tiles) пространствена архитектура за поток от данни, локални памети и компоненти на AI Engine. Общият архитектурен текст не установява броя на плочките или TOPS за даден модел.
ONNX Runtime execution providers · Архитектура на доставчиците на изпълнение, разделяне на графи и хардуерно специфична интеграция. Наличието на доставчик не доказва, че всеки оператор се разтоварва хардуерно.

Беше ли полезна тази статия?

Достатъчно е "да" или "не". Изберете причина, ако желаете, или добавете кратка бележка.