AVX-VNNI

Šta treba da znate

Kako funkcioniše

Originalno AVX-VNNI proširenje uključuje operacije množenja i sabiranja (multiply-accumulate) za bajtove i reči na 128-bitnim ili 256-bitnim vektorima. Na primer, VPDPBUSD množi neoznačene bajtove označenim bajtovima, sabira grupe u dvostruke reči i akumulira u odredište. Varijante sa zasićenjem imaju sopstveno ponašanje pri prekoračenju. Kvantizacija i označenost moraju odgovarati izabranoj operaciji.

Gde je korisno

Biblioteka za neuronske mreže može koristiti ove skalarne proizvode za kvantizovani matrični kernel nakon pakovanja težina i izbora odgovarajuće implementacije u vremenu izvršavanja. Konverzija podataka, skale, nulte tačke i prenos podataka kroz memoriju i dalje su važni. Brži unutrašnji proizvod ne garantuje sveobuhvatnu tačnost modela niti nisko kašnjenje aplikacije.

Kako proveriti podršku i omogućavanje

Proverite omogućeno AVX stanje, a zatim CPUID.07H.01H:EAX bit 4 za originalno AVX-VNNI proširenje, nakon verifikacije podržanih opsega za leaf i subleaf. Proverite zasebne bitove za kasnije varijante. Potvrdite da je biblioteka izabrala svoju odgovarajuću VEX putanju umesto AVX-512 putanje.

Program mora i da sadrži odgovarajuću implementaciju i da je izabere tokom izvršavanja. Hardversko pobrojavanje, stanje registara omogućeno od strane operativnog sistema i kompajlirana osnovna linija binarne datoteke predstavljaju zasebne provere. Virtuelna mašina može namerno izložiti manje funkcija od svog domaćina, a kontejner ne dodaje instrukcije procesoru domaćina.

Šta ova funkcija ne utvrđuje

AVX-VNNI ne podrazumeva AVX-512, AMX, svako kasnije VNNI proširenje niti podršku za svaki celobrojni tip. AVX-VNNI-INT8 i AVX-VNNI-INT16 imaju zasebnu numeraciju funkcija i ne smeju se podrazumevati na osnovu originalnog AVX-VNNI bita.

Kompatibilnost i performanse u praksi

Izmerite kompletno radno opterećenje sa reprezentativnim podacima. Širi vektori mogu smanjiti broj instrukcija, ostavljajući memorijski saobraćaj, sinhronizaciju ili troškove konverzije nepromenjenim. Kašnjenje instrukcija, propusnost i energetske karakteristike zavise od tačne mikroarhitekture i radnih uslova.

Praktična kontrolna lista za verifikaciju

1. Zabeležite tačan model procesora ili platforme, kao i verzije aplikacije, operativnog sistema i izvršnog okruženja koji se koriste. Sačuvajte formulaciju stvarne greške ili zahteva.
2. Proverite referencu proizvođača za taj tačan model, a zatim pregledajte efektivnu sposobnost i omogućeno stanje u okruženju u kojem se program izvršava.
3. Uporedite svaki zahtev izabrane binarne datoteke ili pozadinskog podsistema. Slično nazvana funkcija, alias ili široka oznaka tehnologije nisu dovoljni.
4. Potvrdite da je aplikacija izabrala predviđenu implementaciju. Koristite njenu dokumentovanu dijagnostiku i podržanu rezervnu varijantu kada zahtevi nisu ispunjeni.
5. Primenite jednu po jednu podržanu promenu i ponovite isto radno opterećenje. Zadržite originalnu konfiguraciju i putanju za oporavak na raspolaganju.

Ako je funkcija navedena, ali softver ne može da je koristi

Počnite od tačne komponente koja otkazuje. Baza podataka hardvera opisuje zabeležene mogućnosti; operativni sistem ili hipervizor mogu izložiti drugačije efektivno okruženje. Greška nelegalne instrukcije takođe zahteva ispitivanje stvarne instrukcije koja izaziva grešku i binarne verzije, jer oštećenje ili nepovezana nepodržana instrukcija mogu proizvesti sličan simptom.

Instalirajte verziju aplikacije, drajvera ili izvršnog okruženja podržanu za tačnu platformu i po potrebi koristite dokumentovanu osnovnu ili rezervnu verziju proizvođača. Softversko ažuriranje ne može stvoriti instrukciju koja procesoru nedostaje. Promene firmvera i bezbednosnih smernica treba da prate proceduru proizvođača sistema i plan oporavka, a ne generički recept za optimizaciju.

Povezane funkcije i korisne razlike

AVX2 · Deep Learning Boost · AMX, Advanced Matrix Extensions · Neural Processing Unit (NPU)

Izvori i obuhvat ovog objašnjenja

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: using XSTATE features in user space

Ove reference utvrđuju arhitektonsko ponašanje i softverske zahteve. One ne verifikuju nezavisno svaku vrednost funkcije na povezanoj stranici modela hardvera. Za podršku modela koristite dokaze proizvođača sa te stranice i proverite efektivnu konfiguraciju sistema. Ovaj članak ne pruža referentni rezultat, sertifikaciju niti datum nezavisnog pregleda.

Povezano

Ovi entiteti su povezani sa ovim člankom. Tip je prikazan na svakoj vezi.

Izvori i verifikacija

Urednička pripadnost: Feex. Nije zabeležen datum nezavisne recenzije. Kako istražujemo.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Tomovi 1 i 2 opisuju imenovane porodice instrukcija i CPUID; Tom 3 opisuje kontrole stanja, straničenja, VMX i zaštite. Dokumentacija o arhitekturi ne utvrđuje podršku za određeni model.
• Linux kernel: using XSTATE features in user space · Stanje vektora omogućeno operativnim sistemom, dinamički omogućeno stanje pločica, zahtevi za stek signala i tok dozvola za AMX. Ponašanje specifično za Linux ne predstavlja obećanje za drugi operativni sistem.