Jedinica za neuronsku obradu (NPU)

Što trebate znati

Kako funkcionira

NPU izvođenje dijeli model na podržane operacije, bira numeričke reprezentacije i raspoređuje rad na dostupnom akceleratoru. Neki operatori mogu ostati na procesoru ili grafičkom procesoru. Prijenosi, sinkronizacija, kompilacija i učitavanje modela dio su cjelokupnog puta izvođenja.

Gdje je korisno

Aplikacija može koristiti podržanog pružatelja izvođenja (execution provider) za pokretanje prihvatljivog modela na NPU-u. Grafikon koji tiho prelazi na zamjensko rješenje za kritični operator može se ponašati vrlo različito od onog koji ostaje na akceleratoru, čak i na istom uređaju.

Kako provjeriti podršku i omogućavanje

Identificirajte točan model i generaciju NPU-a, podržani upravljački program za OS, verziju izvođenja i pružatelja izvođenja. Provjerite podršku za operatore, memorijske zahtjeve i dijagnostiku zamjenskih rješenja sa stvarnim modelom, a ne samo unos u upravitelju uređaja.

Dostupnost hardvera samo je prvi korak. Upravljački program, izvršno okruženje, pružatelj izvođenja, podržani operatori i numerički format moraju odgovarati aplikaciji. Pregledajte stvarni odabir pozadinskog sustava i zamjenske opcije umjesto da pretpostavljate da AI oznaka znači da je svaki model ubrzan.

Što ova značajka ne utvrđuje

Prisutnost NPU-a ne utvrđuje određenu TOPS vrijednost, numeričku preciznost, pretpostavku rijetkosti (sparsity), podržanu veličinu modela ili certifikaciju operacijskog sustava. TOPS podaci izmjereni pod različitim uvjetima nisu izravno usporedivi testovi aplikacija.

Kompatibilnost i performanse u praksi

Usporedite potpuna radna opterećenja pod navedenim uvjetima, uključujući kompilaciju, prijenose i nepodržane operatore. Vršne operacije u sekundi ovise o preciznosti i pretpostavkama brojanja. One nisu zamjena za izmjerenu latenciju, propusnost, energiju ili točnost modela.

Praktičan kontrolni popis za provjeru

1. Zabilježite točan model procesora ili platforme te verzije aplikacije, OS-a i izvršnog okruženja. Sačuvajte formulaciju stvarne pogreške ili zahtjeva.
2. Provjerite proizvođačevu referencu za taj točan model, a zatim pregledajte stvarnu sposobnost i omogućeno stanje u okruženju u kojem se program izvodi.
3. Usporedite svaki zahtjev odabrane binarne datoteke ili pozadinskog sustava. Slično nazvana značajka, pseudonim ili široka tehnološka oznaka nisu dovoljni.
4. Potvrdite da je aplikacija odabrala predviđenu implementaciju. Koristite njezinu dokumentiranu dijagnostiku i podržanu zamjensku opciju kada zahtjevi nisu ispunjeni.
5. Napravite jednu po jednu podržanu promjenu i ponovite isto radno opterećenje. Zadržite izvornu konfiguraciju i put oporavka dostupnima.

Ako je značajka navedena, ali je softver ne može koristiti

Počnite s točnom komponentom koja zakazuje. Hardverska baza podataka opisuje zabilježenu sposobnost; operacijski sustav ili hipervizor mogu izložiti drukčije stvarno okruženje. Pogreška nedopuštene instrukcije također zahtijeva istragu stvarne instrukcije koja uzrokuje pogrešku i binarne građe, jer oštećenje ili nepovezana nepodržana instrukcija mogu proizvesti sličan simptom.

Instalirajte verziju aplikacije, upravljačkog programa ili izvršnog okruženja podržanu za točnu platformu i upotrijebite proizvođačevu dokumentiranu osnovnu ili zamjensku građu ako je potrebno. Softversko ažuriranje ne može stvoriti instrukciju koja procesoru nedostaje. Promjene u firmwareu i sigurnosnim pravilima trebaju slijediti postupak proizvođača sustava i plan oporavka, a ne generički recept za optimizaciju.

Povezane značajke i korisne razlike

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Izvori i opseg ovog objašnjenja

AMD XDNA architecture · ONNX Runtime execution providers

Ove reference utvrđuju arhitekturno ponašanje i softverske zahtjeve. One ne verificiraju neovisno svaku vrijednost značajke na povezanoj stranici hardverskog modela. Za podršku modela upotrijebite proizvođačeve dokaze s te stranice i provjerite stvarnu konfiguraciju sustava. Ovaj članak ne pruža mjerilo performansi, certifikaciju ili datum neovisnog pregleda.

Povezano

Ovi se entiteti povezuju s ovim člankom. Vrsta je prikazana na svakoj poveznici.

Izvori i provjera

Uredničko vlasništvo: Feex. Nije zabilježen datum neovisnog pregleda. Kako istražujemo.

• AMD XDNA architecture · Prostorna dataflow arhitektura temeljena na pločicama (tiles), lokalne memorije i komponente AI Engine. Generički tekst o arhitekturi ne utvrđuje broj pločica ili TOPS modela.
• ONNX Runtime execution providers · Arhitektura pružatelja izvođenja, particioniranje grafikona i integracija specifična za hardver. Prisutnost pružatelja ne dokazuje da se svaki operator rasterećuje na akcelerator.