AVX-VNNI

Šta trebate znati

Kako radi

Originalno AVX-VNNI proširenje uključuje operacije množenja i akumulacije bajtova i riječi na 128-bitnim ili 256-bitnim vektorima. Na primjer, VPDPBUSD množi neoznačene bajtove označenim bajtovima, sabira grupe u dvostruke riječi (doublewords) i akumulira u odredište. Varijante sa zasićenjem imaju vlastito ponašanje pri prekoračenju. Kvantizacija i označenost moraju odgovarati odabranoj operaciji.

Gdje je korisno

Biblioteka za neuronske mreže može koristiti ove skalarne proizvode za kvantizirani matrični kernel nakon pakovanja težina i odabira odgovarajuće implementacije u vremenu izvršavanja (runtime). Konverzija podataka, skale, nulte tačke i kretanje memorije i dalje su važni. Brži unutrašnji proizvod ne garantuje sveobuhvatnu tačnost modela niti latenciju aplikacije.

Kako provjeriti podršku i omogućavanje

Provjerite omogućeno AVX stanje, a zatim CPUID.07H.01H:EAX bit 4 za originalno AVX-VNNI proširenje, nakon verifikacije podržanih raspona leaf i subleaf. Provjerite zasebne bitove za kasnije varijante. Potvrdite da je biblioteka odabrala svoju odgovarajuću VEX putanju umjesto AVX-512 putanje.

Program mora sadržavati odgovarajuću implementaciju i odabrati je u vrijeme izvršavanja. Popisivanje hardvera, stanje registara omogućeno od strane OS-a i kompajlirana osnovna linija binarne datoteke zasebne su provjere. Virtuelna mašina može namjerno izložiti manje funkcija od svog domaćina, a kontejner ne dodaje instrukcije procesoru domaćina.

Šta ova funkcija ne uspostavlja

AVX-VNNI ne podrazumijeva AVX-512, AMX, svako kasnije VNNI proširenje niti podršku za svaki cjelobrojni tip. AVX-VNNI-INT8 i AVX-VNNI-INT16 imaju zasebnu numeraciju mogućnosti i ne smiju se pretpostavljati na osnovu originalnog AVX-VNNI bita.

Kompatibilnost i performanse u praksi

Izmjerite kompletno radno opterećenje s reprezentativnim podacima. Širi vektori mogu smanjiti broj instrukcija, ostavljajući memorijski saobraćaj, sinhronizaciju ili troškove konverzije nepromijenjenim. Kašnjenje instrukcije, propusnost i ponašanje potrošnje energije zavise od tačne mikroarhitekture i radnih uslova.

Praktična lista za provjeru verifikacije

1. Zabilježite tačan model procesora ili platforme te verzije aplikacije, OS-a i runtime okruženja koji se koriste. Sačuvajte formulaciju stvarne greške ili zahtjeva.
2. Provjerite referencu proizvođača za taj tačan model, a zatim pregledajte efektivnu sposobnost i omogućeno stanje u okruženju u kojem se program izvršava.
3. Uporedite svaki zahtjev odabrane binarne datoteke ili pozadinskog sistema. Slično imenovana funkcija, pseudonim ili široka tehnološka oznaka nisu dovoljni.
4. Potvrdite da je aplikacija odabrala predviđenu implementaciju. Koristite njenu dokumentiranu dijagnostiku i podržanu rezervnu varijantu kada zahtjevi nisu ispunjeni.
5. Pravite jednu po jednu podržanu promjenu i ponavljajte isto radno opterećenje. Zadržite izvornu konfiguraciju i dostupan put oporavka.

Ako je funkcija navedena, ali je softver ne može koristiti

Počnite od tačne komponente koja otkazuje. Baza podataka hardvera opisuje zabilježenu sposobnost; operativni sistem ili hipervizor mogu izložiti drugačije efektivno okruženje. Greška nevažeće instrukcije (illegal-instruction) također zahtijeva istragu stvarne instrukcije koja uzrokuje grešku i binarne verzije, jer oštećenje ili nepovezana nepodržana instrukcija mogu proizvesti sličan simptom.

Instalirajte verziju aplikacije, drajvera ili runtime okruženja podržanu za tačnu platformu i po potrebi koristite proizvođačevu dokumentiranu osnovnu ili rezervnu verziju. Ažuriranje softvera ne može stvoriti instrukciju koja procesoru nedostaje. Promjene firmvera i sigurnosnih pravila trebaju pratiti proceduru proizvođača sistema i plan oporavka, a ne generički recept za optimizaciju.

Povezane funkcije i korisne razlike

AVX2 · Deep Learning Boost · AMX, Advanced Matrix Extensions · Neural Processing Unit (NPU)

Izvori i obim ovog objašnjenja

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: korištenje XSTATE funkcija u korisničkom prostoru

Ove reference uspostavljaju arhitekturno ponašanje i softverske zahtjeve. One ne verifikuju nezavisno svaku vrijednost funkcije na povezanoj stranici modela hardvera. Za podršku modela koristite dokaze proizvođača s te stranice i provjerite efektivnu konfiguraciju sistema. Ovaj članak ne pruža benchmark, certifikaciju ili datum nezavisnog pregleda.

Povezano

Ovi entiteti su povezani s ovim člankom. Tip je prikazan na svakom linku.

Izvori i provjera

Uredničko vlasništvo: Feex. Nije zabilježen datum nezavisne provjere. Kako istražujemo.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Tomovi 1 i 2 opisuju navedene porodice instrukcija i CPUID; Tom 3 opisuje kontrole stanja, straničenja, VMX-a i zaštite. Dokumentacija arhitekture ne utvrđuje podršku za određeni model.
• Linux kernel: korištenje XSTATE funkcija u korisničkom prostoru · Vektorsko stanje omogućeno od strane OS-a, dinamički omogućeno stanje pločica, zahtjevi steka signala i AMX tok dozvola. Ponašanje specifično za Linux nije obećanje za drugi OS.