Neurónová procesorová jednotka (NPU)

Čo potrebujete vedieť

Ako to funguje

Behové prostredie NPU rozdelí model na podporované operácie, zvolí číselné reprezentácie a naplánuje prácu na dostupnom akcelerátore. Niektoré operátory môžu zostať na CPU alebo GPU. Prenosy, synchronizácia, kompilácia a načítanie modelu tvoria súčasť celej trasy vykonávania.

Kde je to užitočné

Aplikácia môže použiť podporovaného poskytovateľa vykonávania (execution provider) na spustenie spôsobilého modelu na NPU. Graf, ktorý pri kritickom operátore potichu prejde na záložné riešenie, sa môže správať veľmi odlišne od grafu, ktorý zostáva na akcelerátore, a to aj na rovnakom zariadení.

Ako overiť podporu a povolenie

Identifikujte presný model a generáciu NPU, podporovaný ovládač operačného systému, verziu behového prostredia a poskytovateľa vykonávania. Podporu operátorov, pamäťové nároky a diagnostiku prechodu na záložné riešenie overte na skutočnom modeli, nielen podľa záznamu v správcovi zariadení.

Dostupnosť hardvéru je len prvým krokom. Ovládač, runtime, poskytovateľ vykonávania, podporované operátory a číselný formát sa musia zhodovať s aplikáciou. Skontrolujte skutočný výber backendu a záložné riešenie namiesto predpokladu, že označenie AI znamená akceleráciu každého modelu.

Čo táto funkcia nezakladá

Prítomnosť NPU nedokazuje konkrétnu hodnotu TOPS, numerickú presnosť, predpoklad riedkosti (sparsity), podporovanú veľkosť modelu ani certifikáciu operačného systému. Údaje TOPS merané za odlišných podmienok nie sú priamo porovnateľnými aplikačnými benchmarkmi.

Kompatibilita a výkon v praxi

Porovnávajte kompletné pracovné zaťaženia za definovaných podmienok vrátane kompilácie, prenosov a nepodporovaných operátorov. Špičkový počet operácií za sekundu závisí od presnosti a predpokladov výpočtu. Nie je náhradou za nameranú latenciu, priepustnosť, spotrebu energie ani presnosť modelu.

Praktický kontrolný zoznam na overenie

1. Zaznamenajte presný model procesora alebo platformy a príslušné verzie aplikácie, operačného systému a runtime prostredia. Zachovajte presné znenie skutočnej chyby alebo požiadavky.
2. Skontrolujte referenčnú dokumentáciu výrobcu pre daný presný model a potom preverte efektívnu schopnosť a povolený stav v prostredí, kde program beží.
3. Porovnajte každú požiadavku vybraného binárneho súboru alebo backendu. Podobne pomenovaná funkcia, alias alebo široké technologické označenie nepostačujú.
4. Uistite sa, že aplikácia vybrala zamýšľanú implementáciu. Ak požiadavky nie sú splnené, použite jej dokumentovanú diagnostiku a podporované náhradné riešenie.
5. Vykonávajte vždy len jednu podporovanú zmenu a zopakujte rovnaké pracovné zaťaženie. Ponechajte si k dispozícii pôvodnú konfiguráciu a postup obnovy.

Ak je funkcia uvedená, ale softvér ju nemôže použiť

Začnite presne pri zlyhávajúcom komponente. Hardvérová databáza popisuje zaznamenanú schopnosť; operačný systém alebo hypervízor však môže sprístupniť iné efektívne prostredie. Chyba neplatnej inštrukcie si vyžaduje aj preskúmanie skutočnej chybujúcej inštrukcie a zostavenia binárneho súboru, pretože poškodenie alebo nesúvisiaca nepodporovaná inštrukcia môže vyvolať podobný príznak.

Nainštalujte verziu aplikácie, ovládača alebo runtime prostredia podporovanú pre presnú platformu a v prípade potreby použite dodávateľom dokumentované základné alebo záložné zostavenie. Aktualizácia softvéru nedokáže vytvoriť inštrukciu, ktorú procesor nemá. Zmeny firmvéru a bezpečnostných politík by sa mali riadiť postupom výrobcu systému a plánom obnovy, nie generickým návodom na optimalizáciu.

Súvisiace funkcie a užitočné rozdiely

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Zdroje a rozsah tohto vysvetlenia

Architektúra AMD XDNA · Poskytovatelia vykonávania pre ONNX Runtime

Tieto referencie definujú architektonické správanie a softvérové požiadavky. Neoverujú nezávisle každú hodnotu funkcie na prepojenej stránke hardvérového modelu. Podporu modelu nájdete v podkladoch od výrobcu na danej stránke a skontrolujte efektívnu konfiguráciu systému. Tento článok neposkytuje dátum benchmarku, certifikácie ani nezávislej recenzie.

Súvisiace

Tieto entity sú prepojené s týmto článkom. Typ je zobrazený na každom odkaze.

Zdroje a overenie

Redakčné vlastníctvo: Feex. Nie je zaznamenaný žiadny dátum nezávislej kontroly. Ako robíme výskum.

• Architektúra AMD XDNA · Priestorová dátovo orientovaná architektúra založená na dlaždiciach, lokálne pamäte a komponenty AI Engine. Všeobecný text o architektúre neurčuje počet dlaždíc modelu ani TOPS.
• Poskytovatelia vykonávania pre ONNX Runtime · Architektúra poskytovateľa vykonávania, delenie grafu a integrácia špecifická pre hardvér. Prítomnosť poskytovateľa nedokazuje, že každý operátor je presunutý na akcelerátor.