Neurální procesorová jednotka (NPU)

Co potřebujete vědět

Jak to funguje

Běhové prostředí NPU rozdělí model na podporované operace, zvolí číselné reprezentace a naplánuje práci na dostupný akcelerátor. Některé operátory mohou zůstat na procesoru nebo grafické kartě. Přenosy, synchronizace, kompilace a načítání modelu jsou součástí celé cesty provádění.

Kde je funkce užitečná

Aplikace může použít podporovaného poskytovatele provádění (execution provider) ke spuštění způsobilého modelu na NPU. Graf, který tiše přejde k záložnímu řešení u kritického operátoru, se může chovat velmi odlišně od grafu, který zůstane na akcelerátoru, a to i na stejném zařízení.

Jak ověřit podporu a aktivaci

Identifikujte přesný model a generaci NPU, podporovaný ovladač v operačním systému, verzi běhového prostředí a poskytovatele provádění. Zkontrolujte podporu operátorů, paměťové požadavky a diagnostiku záložních řešení u skutečného modelu, nikoli pouze záznam ve správci zařízení.

Dostupnost hardwaru je pouze prvním krokem. Ovladač, běhové prostředí, poskytovatel provádění, podporované operátory a číselný formát musí odpovídat dané aplikaci. Prověřte skutečný výběr backendu a náhradní řešení, místo abyste z označení AI vyvozovali, že je akcelerován každý model.

Co tato funkce nezajišťuje

Přítomnost NPU nezakládá konkrétní hodnotu TOPS, numerickou přesnost, předpoklad řídkosti dat (sparsity), podporovanou velikost modelu ani certifikaci operačního systému. Hodnoty TOPS měřené za různých podmínek nejsou přímo srovnatelné aplikační benchmarky.

Kompatibilita a výkon v praxi

Porovnávejte ucelené pracovní zátěže za definovaných podmínek, včetně kompilace, přenosů dat a nepodporovaných operátorů. Špičkový počet operací za sekundu závisí na přesnosti a předpokladech při jejich započítávání. Tyto hodnoty nenahrazují naměřenou latenci, propustnost, spotřebu energie ani přesnost modelu.

Praktický kontrolní seznam pro ověření

1. Zaznamenejte přesný model procesoru nebo platformy a použité verze aplikace, operačního systému a běhového prostředí. Uchovejte přesné znění chybové zprávy nebo požadavku.
2. Zkontrolujte dokumentaci výrobce pro daný konkrétní model a poté prověřte skutečně dostupnou kapacitu a stav aktivace v prostředí, kde program běží.
3. Porovnejte veškeré požadavky vybraného binárního souboru nebo backendu. Podobně pojmenovaná funkce, alias nebo obecné technologické označení nestačí.
4. Ověřte, že aplikace vybrala zamýšlenou implementaci. Pokud nejsou požadavky splněny, použijte její zdokumentovanou diagnostiku a podporované náhradní řešení.
5. Provádějte vždy jen jednu podporovanou změnu a zopakujte identickou zátěž. Původní konfiguraci a postup obnovy mějte neustále k dispozici.

Pokud je funkce uvedena, ale software ji nemůže použít

Začněte u přesné komponenty, u níž dochází k selhání. Databáze hardwaru popisuje zaznamenané schopnosti; operační systém nebo hypervizor však může vystavit odlišné efektivní prostředí. Chyba neplatné instrukce vyžaduje také prozkoumání skutečné chybující instrukce a sestavení binárního souboru, protože poškození dat nebo nesouvisející nepodporovaná instrukce mohou vyvolat podobný projev.

Nainstalujte verzi aplikace, ovladače nebo běhového prostředí podporovanou pro danou platformu a v případě potřeby použijte výrobcem zdokumentované základní nebo náhradní sestavení. Aktualizace softwaru nemůže vytvořit instrukci, kterou procesor fyzicky postrádá. Změny firmwaru a zásad zabezpečení by se měly řídit postupem výrobce systému a plánem obnovy, nikoli obecným návodem na optimalizaci.

Související funkce a užitečná rozlišení

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Zdroje a rozsah tohoto vysvětlení

AMD XDNA architecture · ONNX Runtime execution providers

Tyto referenční dokumenty stanovují architektonické chování a softwarové požadavky. Neověřují nezávisle každou hodnotu funkce na odkazované stránce hardwarového modelu. Informace o podpoře konkrétního modelu čerpejte z podkladů výrobce na příslušné stránce a zkontrolujte platnou konfiguraci systému. Tento článek neposkytuje benchmark, certifikaci ani datum nezávislého přezkumu.

Související

Tyto entity odkazují na tento článek. Typ je zobrazen u každého odkazu.

Zdroje a ověření

Redakční vlastnictví: Feex. Není zaznamenáno žádné datum nezávislého přezkoumání. Jak provádíme výzkum.

• AMD XDNA architecture · Prostorová architektura toku dat založená na dlaždicích (tiles), lokální paměti a komponenty AI Engine. Obecný text o architektuře neurčuje počet dlaždic ani TOPS konkrétního modelu.
• ONNX Runtime execution providers · Architektura poskytovatele provádění, dělení grafu a integrace specifická pro daný hardware. Přítomnost poskytovatele nedokazuje, že každý operátor je zpracováván akcelerátorem.