AVX-VNNI

Ce trebuie să știți

Cum funcționează

Extensia originală AVX-VNNI include operații de înmulțire și acumulare pe octeți și cuvinte pe vectori de 128 de biți sau 256 de biți. De exemplu, VPDPBUSD înmulțește octeți fără semn cu octeți cu semn, însumează grupurile în dublucuvinte și acumulează în destinație. Variantele cu saturare au propriul comportament la depășire. Cuantizarea și semnul trebuie să se potrivească cu operația selectată.

Unde este utilă

O bibliotecă de rețele neuronale poate folosi aceste produse scalare pentru un nucleu de matrice cuantizată după împachetarea ponderilor și selectarea unei implementări runtime adecvate. Conversia datelor, scalele, punctele de zero și mișcarea memoriei contează în continuare. Un produs intern mai rapid nu garantează precizia generală a modelului sau latența aplicației cap-la-cap.

Cum se verifică suportul și activarea

Verificați starea AVX activată, apoi CPUID.07H.01H:EAX bitul 4 pentru extensia originală AVX-VNNI, după verificarea intervalelor de leaf și subleaf acceptate. Verificați biți separați pentru variantele ulterioare. Confirmați că biblioteca a selectat calea VEX corespunzătoare în locul unei căi AVX-512.

Programul trebuie atât să conțină o implementare adecvată, cât și să o selecteze la rulare. Enumerarea hardware, starea registrelor activată de sistemul de operare și configurația de bază la compilarea binarului sunt verificări separate. O mașină virtuală poate expune în mod deliberat mai puține caracteristici decât gazda sa, iar un container nu adaugă instrucțiuni procesorului gazdă.

Ce nu stabilește această caracteristică

AVX-VNNI nu implică AVX-512, AMX, fiecare extensie VNNI ulterioară sau compatibilitatea cu fiecare tip de număr întreg. AVX-VNNI-INT8 și AVX-VNNI-INT16 au enumerări separate ale caracteristicilor și nu trebuie deduse din bitul original AVX-VNNI.

Compatibilitatea și performanța în practică

Măsurați întreaga sarcină de lucru folosind date reprezentative. Vectorii mai lați pot reduce numărul de instrucțiuni, lăsând neschimbate traficul de memorie, sincronizarea sau costurile de conversie. Latența instrucțiunilor, debitul și consumul de energie depind de microarhitectura exactă și de condițiile de funcționare.

O listă practică de verificare

1. Înregistrați modelul exact de procesor sau platformă și versiunile aplicației, sistemului de operare și mediului de execuție (runtime) implicate. Păstrați formularea exactă a erorii sau a cerinței.
2. Verificați documentația de referință a producătorului pentru acel model exact, apoi inspectați capacitatea efectivă și starea activată în mediul în care rulează programul.
3. Comparați fiecare cerință a binarului sau backend-ului selectat. O caracteristică cu nume similar, un alias sau o etichetă tehnologică generală nu este suficientă.
4. Confirmați că aplicația a selectat implementarea dorită. Utilizați diagnosticele documentate ale acesteia și o soluție de rezervă acceptată atunci când cerințele nu sunt îndeplinite.
5. Aplicați câte o singură modificare acceptată pe rând și repetați aceeași sarcină de lucru. Păstrați disponibile configurația inițială și calea de recuperare.

Dacă funcția este listată, dar software-ul nu o poate folosi

Începeți cu componenta exactă care eșuează. O bază de date hardware descrie capacitatea înregistrată; sistemul de operare sau hipervizorul poate expune un mediu efectiv diferit. O eroare de tip instrucțiune ilegală (illegal-instruction) necesită, de asemenea, investigarea instrucțiunii reale care a generat eroarea și a versiunii compilate a binarului, deoarece coruperea datelor sau o instrucțiune neacceptată fără legătură poate produce un simptom similar.

Instalați versiunea de aplicație, driver sau mediu de execuție compatibilă exact cu acea platformă și utilizați versiunea de bază sau de rezervă documentată de producător, dacă este necesar. O actualizare software nu poate crea o instrucțiune care îi lipsește procesorului. Modificările de firmware și de politici de securitate ar trebui să respecte procedura producătorului sistemului și un plan de recuperare, mai degrabă decât o rețetă generică de optimizare.

Caracteristici conexe și distincții utile

AVX2 · Deep Learning Boost · AMX, Advanced Matrix Extensions · Unitate de procesare neuronală (NPU)

Sursele și domeniul de aplicare al acestei explicații

Intel 64 and IA-32 Architectures Software Developer's Manual · Kernelul Linux: utilizarea caracteristicilor XSTATE în spațiul utilizator

Aceste referințe stabilesc comportamentul arhitectural și cerințele software. Ele nu verifică independent fiecare valoare de caracteristică de pe o pagină de model hardware asociată. Pentru suportul la nivel de model, utilizați dovezile furnizate de producător pe acea pagină și verificați configurația efectivă a sistemului. Acest articol nu furnizează date din benchmark-uri, certificări sau recenzii independente.

Asociate

Aceste entități au legătură cu acest articol. Tipul este afișat pe fiecare link.

Surse și verificare

Proprietate editorială: Feex. Nu este înregistrată nicio dată de verificare independentă. Cum cercetăm.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Volumele 1 și 2 descriu familiile de instrucțiuni numite și CPUID; Volumul 3 descrie starea, paginarea, VMX și controalele de protecție. Documentația de arhitectură nu stabilește suportul pentru un anumit model.
• Kernelul Linux: utilizarea caracteristicilor XSTATE în spațiul utilizator · Starea vectorială activată de sistemul de operare, starea dalelor activată dinamic, cerințele pentru stiva de semnale și fluxul de permisiuni AMX. Comportamentul specific Linux nu constituie o garanție pentru un alt sistem de operare.