Neural Processing Unit (NPU)

Šta trebate znati

Kako radi

NPU izvršno okruženje dijeli model na podržane operacije, bira numeričke reprezentacije i raspoređuje rad na dostupnom akceleratoru. Neki operatori mogu ostati na procesoru ili grafičkom procesoru. Prijenosi, sinhronizacija, kompajliranje i učitavanje modela dio su kompletne putanje izvršavanja.

Gdje je korisno

Aplikacija može koristiti podržanog pružaoca usluga izvršavanja za pokretanje kvalifikovanog modela na NPU-u. Grafikon koji tiho pređe na rezervnu varijantu za kritični operator može se ponašati znatno drugačije od onog koji ostaje na akceleratoru, čak i na istom uređaju.

Kako provjeriti podršku i omogućavanje

Identifikujte tačan model i generaciju NPU-a, podržani drajver operativnog sistema, verziju izvršnog okruženja i pružaoca usluga izvršavanja. Provjerite podršku za operatore, memorijske zahtjeve i dijagnostiku rezervne varijante na stvarnom modelu, a ne samo unos u upravitelju uređaja.

Dostupnost hardvera je samo prvi korak. Drajver, runtime, izvršni provajder, podržani operateri i numerički format moraju odgovarati aplikaciji. Pregledajte stvarni odabir pozadinskog sistema i rezervnu varijantu umjesto da pretpostavljate da AI oznaka znači da je svaki model ubrzan.

Šta ova funkcija ne uspostavlja

Prisustvo NPU-a ne uspostavlja određenu TOPS vrijednost, numeričku preciznost, pretpostavku rijetkosti (sparsity), podržanu veličinu modela ili certifikaciju operativnog sistema. TOPS podaci izmjereni pod različitim uslovima nisu direktno uporedivi testovi performansi aplikacije.

Kompatibilnost i performanse u praksi

Uporedite kompletna radna opterećenja pod navedenim uslovima, uključujući kompilaciju, prijenose i nepodržane operatere. Vršne operacije u sekundi zavise od preciznosti i pretpostavki brojanja. One nisu zamjena za izmjereno kašnjenje, propusnost, energiju ili tačnost modela.

Praktična lista za provjeru verifikacije

1. Zabilježite tačan model procesora ili platforme te verzije aplikacije, OS-a i runtime okruženja koji se koriste. Sačuvajte formulaciju stvarne greške ili zahtjeva.
2. Provjerite referencu proizvođača za taj tačan model, a zatim pregledajte efektivnu sposobnost i omogućeno stanje u okruženju u kojem se program izvršava.
3. Uporedite svaki zahtjev odabrane binarne datoteke ili pozadinskog sistema. Slično imenovana funkcija, pseudonim ili široka tehnološka oznaka nisu dovoljni.
4. Potvrdite da je aplikacija odabrala predviđenu implementaciju. Koristite njenu dokumentiranu dijagnostiku i podržanu rezervnu varijantu kada zahtjevi nisu ispunjeni.
5. Pravite jednu po jednu podržanu promjenu i ponavljajte isto radno opterećenje. Zadržite izvornu konfiguraciju i dostupan put oporavka.

Ako je funkcija navedena, ali je softver ne može koristiti

Počnite od tačne komponente koja otkazuje. Baza podataka hardvera opisuje zabilježenu sposobnost; operativni sistem ili hipervizor mogu izložiti drugačije efektivno okruženje. Greška nevažeće instrukcije (illegal-instruction) također zahtijeva istragu stvarne instrukcije koja uzrokuje grešku i binarne verzije, jer oštećenje ili nepovezana nepodržana instrukcija mogu proizvesti sličan simptom.

Instalirajte verziju aplikacije, drajvera ili runtime okruženja podržanu za tačnu platformu i po potrebi koristite proizvođačevu dokumentiranu osnovnu ili rezervnu verziju. Ažuriranje softvera ne može stvoriti instrukciju koja procesoru nedostaje. Promjene firmvera i sigurnosnih pravila trebaju pratiti proceduru proizvođača sistema i plan oporavka, a ne generički recept za optimizaciju.

Povezane funkcije i korisne razlike

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Izvori i obim ovog objašnjenja

AMD XDNA architecture · ONNX Runtime execution providers

Ove reference uspostavljaju arhitekturno ponašanje i softverske zahtjeve. One ne verifikuju nezavisno svaku vrijednost funkcije na povezanoj stranici modela hardvera. Za podršku modela koristite dokaze proizvođača s te stranice i provjerite efektivnu konfiguraciju sistema. Ovaj članak ne pruža benchmark, certifikaciju ili datum nezavisnog pregleda.

Povezano

Ovi entiteti su povezani s ovim člankom. Tip je prikazan na svakom linku.

Izvori i provjera

Uredničko vlasništvo: Feex. Nije zabilježen datum nezavisne provjere. Kako istražujemo.

• AMD XDNA architecture · Arhitektura prostornog toka podataka zasnovana na pločicama (tiles), lokalne memorije i komponente AI Engine. Generički tekst o arhitekturi ne određuje broj pločica modela niti TOPS.
• ONNX Runtime execution providers · Arhitektura pružaoca usluga izvršavanja, particionisanje grafikona i integracija specifična za hardver. Prisustvo pružaoca ne dokazuje da je svaki operator rasterećen na akcelerator.