Neurális feldolgozóegység (NPU)

Amit tudni érdemes

Hogyan működik

Egy NPU-futtatókörnyezet a modellt támogatott műveletekre bontja, kiválasztja a numerikus reprezentációkat, és ütemezi a munkát a rendelkezésre álló gyorsítón. Egyes műveletek a CPU-n vagy a GPU-n maradhatnak. Az adatátvitelek, a szinkronizáció, a fordítás és a modellbetöltés a teljes végrehajtási útvonal részét képezik.

Ahol hasznos

Egy alkalmazás támogatott végrehajtási szolgáltató (execution provider) segítségével futtathat egy megfelelő modellt az NPU-n. Egy olyan számítási gráf, amely csendben visszalép egy tartalékmegoldásra egy kritikus műveletnél, nagyon eltérően viselkedhet attól, amely végig a gyorsítón marad, még ugyanazon az eszközön is.

A támogatás és az engedélyezés ellenőrzése

Azonosítsa a pontos NPU-modellt és generációt, a támogatott operációsrendszer-illesztőprogramot, a futtatókörnyezet verzióját és a végrehajtási szolgáltatót. Ellenőrizze a műveletek támogatását, a memóriakövetelményeket és a tartalék futási diagnosztikát a tényleges modellel, ne csak egy eszközkezelőbeli bejegyzésre hagyatkozzon.

A hardver elérhetősége csak az első lépés. Az illesztőprogramnak, a futtatókörnyezetnek, a végrehajtási szolgáltatónak, a támogatott operátoroknak és a numerikus formátumnak illeszkednie kell az alkalmazáshoz. Vizsgálja meg a tényleges háttérrendszer-választást és a tartalék megoldást ahelyett, hogy feltételezné: egy AI-címke azt jelenti, hogy minden modell gyorsított.

Amit a funkció nem biztosít

Az NPU jelenléte nem garantál egy adott TOPS-értéket, numerikus pontosságot, ritkasági (sparsity) feltételezést, támogatott modellméretet vagy operációsrendszer-tanúsítványt. Az eltérő körülmények között mért TOPS-adatok nem közvetlenül összehasonlítható alkalmazási mérőszámok.

Kompatibilitás és teljesítmény a gyakorlatban

Hasonlítsa össze a teljes munkaterheléseket meghatározott feltételek mellett, beleértve a fordítást, az adatátvitelt és a nem támogatott operátorokat. A másodpercenkénti csúcsműveletek száma a pontosságtól és a számlálási feltételezésektől függ. Nem helyettesítik a mért késleltetést, az átviteli sebességet, az energiafogyasztást vagy a modell pontosságát.

Gyakorlati ellenőrzőlista

1. Rögzítse az érintett processzor vagy platform pontos modelljét, valamint az alkalmazás, az operációs rendszer és a futtatókörnyezet verzióját. Őrizze meg a tényleges hiba vagy követelmény pontos szövegezését.
2. Ellenőrizze az adott modellhez tartozó gyártói referenciát, majd vizsgálja meg a tényleges képességet és az engedélyezett állapotot abban a környezetben, ahol a program fut.
3. Vesse össze a kiválasztott bináris vagy háttérrendszer minden követelményét. Egy hasonló elnevezésű funkció, álnév vagy tág technológiai címke nem elegendő.
4. Győződjön meg arról, hogy az alkalmazás a kívánt implementációt választotta ki. Használja annak dokumentált diagnosztikai eszközeit és egy támogatott tartalék megoldást, ha a követelmények nem teljesülnek.
5. Egyszerre csak egy támogatott módosítást hajtson végre, és ismételje meg ugyanazt a munkaterhelést. Tartsa elérhetően az eredeti konfigurációt és a helyreállítási útvonalat.

Ha a funkció szerepel a listán, de a szoftver nem tudja használni

Kezdje a hibát jelző pontos komponenssel. A hardveradatbázis a rögzített képességet írja le; az operációs rendszer vagy a hipervizor ettől eltérő tényleges környezetet tehet elérhetővé. Az érvénytelen utasítás miatti hiba (illegal-instruction) esetén a ténylegesen hibát okozó utasítást és a bináris összeállítást is vizsgálni kell, mivel az adatsérülés vagy egy nem kapcsolódó, nem támogatott utasítás is hasonló tünetet produkálhat.

Telepítse az adott platformhoz támogatott alkalmazás-, illesztőprogram- vagy futtatókörnyezet-verziót, és szükség esetén használja a gyártó által dokumentált alapértelmezett vagy tartalék változatot. Egy szoftverfrissítés nem hozhat létre olyan utasítást, amellyel a processzor nem rendelkezik. A firmware- és biztonságipolitika-módosítások során a rendszer gyártójának eljárását és egy helyreállítási tervet kell követni egy általános optimalizálási recept helyett.

Kapcsolódó funkciók és hasznos különbségtételek

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

A magyarázat forrásai és hatóköre

AMD XDNA architektúra · ONNX Runtime végrehajtási szolgáltatók

Ezek a hivatkozások az architekturális viselkedést és a szoftverkövetelményeket határozzák meg. Nem ellenőrzik függetlenül a hivatkozott hardvermodell oldalán található összes funkcióértéket. A modell támogatásához használja az adott oldal gyártói bizonyítékait, és ellenőrizze a tényleges rendszerkonfigurációt. Ez a cikk nem tartalmaz teljesítménytesztet, tanúsítást vagy független felülvizsgálati dátumot.

Kapcsolódó

Ezek az entitások kapcsolódnak ehhez a cikkhez. A típus minden hivatkozáson megjelenik.

Források és ellenőrzés

Szerkesztői jogtulajdonos: Feex. Független felülvizsgálati dátum nincs rögzítve. Hogyan kutatunk.

• AMD XDNA architektúra · Csempealapú térbeli adatfolyam-architektúra, helyi memóriák és AI Engine komponensek. Az általános architektúra-leírás nem határozza meg a modell csempeszámát vagy TOPS-értékét.
• ONNX Runtime végrehajtási szolgáltatók · Végrehajtási szolgáltatói architektúra, gráfparticionálás és hardverspecifikus integráció. A szolgáltató jelenléte nem bizonyítja, hogy minden művelet kiszervezésre kerül a hardverre.