Jedinica za neuronsku obradu (NPU)

Šta treba da znate

Kako funkcioniše

NPU izvršno okruženje dijeli model na podržane operacije, bira numeričke reprezentacije i raspoređuje rad na dostupni akcelerator. Neki operatori mogu ostati na procesoru ili grafičkom procesoru. Prenosi, sinhronizacija, kompajliranje i učitavanje modela dio su kompletne putanje izvršavanja.

Đe je korisno

Aplikacija može koristiti podržanog pružaoca izvršavanja (execution provider) za pokretanje odgovarajućeg modela na NPU-u. Graf koji tiho pređe na rezervnu varijantu za kritični operator može se ponašati sasvim drugačije od onog koji ostaje na akceleratoru, čak i na istom uređaju.

Kako provjeriti podršku i omogućenost

Identifikujte tačan model i generaciju NPU-a, podržani drajver operativnog sistema, verziju izvršnog okruženja i pružaoca izvršavanja. Provjerite podršku za operatore, memorijske zahtjeve i dijagnostiku rezervne varijante na stvarnom modelu, a ne samo unos u upravljaču uređaja.

Dostupnost hardvera je samo prvi korak. Drajver, runtime, pružalac izvršavanja, podržani operatori i numerički format moraju odgovarati aplikaciji. Ispitajte stvarni izbor backend-a i rezervne varijante umjesto da pretpostavljate da AI oznaka znači da je svaki model ubrzan.

Šta ova funkcija ne utvrđuje

Prisustvo NPU-a ne uspostavlja određenu TOPS vrijednost, numeričku preciznost, pretpostavku o proređenosti (sparsity), podržanu veličinu modela niti sertifikaciju operativnog sistema. TOPS podaci izmjereni pod različitim uslovima nijesu direktno uporedivi aplikativni benčmark rezultati.

Kompatibilnost i performanse u praksi

Uporedite kompletna radna opterećenja pod navedenim uslovima, uključujući kompilaciju, transfere i nepodržane operatore. Vršne operacije u sekundi zavise od preciznosti i pretpostavki brojanja. One nijesu zamjena za izmjereno kašnjenje, protok, energiju ili tačnost modela.

Praktična lista za provjeru verifikacije

1. Zabilježite tačan model procesora ili platforme, kao i verzije aplikacije, OS-a i runtime-a koji se koriste. Sačuvajte formulaciju stvarne greške ili zahtjeva.
2. Provjerite referencu proizvođača za taj tačan model, a zatim pregledajte efektivnu sposobnost i omogućeno stanje u okruženju đe se program izvršava.
3. Uporedite svaki zahtjev odabranog binarnog koda ili backend-a. Funkcija sličnog naziva, alias ili široka tehnološka oznaka nijesu dovoljni.
4. Potvrdite da je aplikacija odabrala predviđenu implementaciju. Koristite njenu dokumentovanu dijagnostiku i podržanu rezervnu varijantu kada zahtjevi nijesu ispunjeni.
5. Napravite po jednu podržanu promjenu u isto vrijeme i ponovite isto radno opterećenje. Držite originalnu konfiguraciju i putanju oporavka dostupnima.

Ako je funkcija navedena, ali je softver ne može koristiti

Počnite sa tačnom komponentom koja otkazuje. Baza podataka hardvera opisuje zabilježenu sposobnost; operativni sistem ili hipervizor mogu izložiti drugačije efektivno okruženje. Greška nelegalne instrukcije takođe zahtijeva istragu stvarne instrukcije koja je izazvala kvar i binarne verzije, jer oštećenje ili nepovezana nepodržana instrukcija mogu proizvesti sličan simptom.

Instalirajte verziju aplikacije, drajvera ili runtime-a podržanu za tačnu platformu i koristite dokumentovanu osnovnu ili rezervnu verziju proizvođača ako je potrebno. Ažuriranje softvera ne može stvoriti instrukciju koja procesoru nedostaje. Promjene firmvera i bezbjednosnih politika treba da prate proceduru proizvođača sistema i plan oporavka, a ne generički recept za optimizaciju.

Povezane funkcije i korisne razlike

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Izvori i obim ovog objašnjenja

AMD XDNA arhitektura · ONNX Runtime pružaoci izvršavanja

Ove reference utvrđuju arhitekturno ponašanje i softverske zahtjeve. One ne verifikuju nezavisno svaku vrijednost funkcije na povezanoj stranici hardverskog modela. Za podršku modela, koristite dokaze proizvođača sa te stranice i provjerite efektivnu konfiguraciju sistema. Ovaj članak ne pruža benčmark, sertifikaciju niti datum nezavisnog pregleda.

Povezano

Ovi entiteti su povezani sa ovim člankom. Tip je prikazan na svakom linku.

Izvori i verifikacija

Uredničko vlasništvo: Feex. Nije zabilježen datum nezavisne recenzije. Kako istražujemo.

• AMD XDNA arhitektura · Prostorna arhitektura toka podataka zasnovana na pločicama (tiles), lokalne memorije i komponente AI Engine. Generički tekst o arhitekturi ne definiše broj pločica niti TOPS vrijednost modela.
• ONNX Runtime pružaoci izvršavanja · Arhitektura pružaoca izvršavanja, particionisanje grafa i integracija specifična za hardver. Prisustvo pružaoca ne dokazuje da je svaki operator rasterećen na akcelerator.