AMX, Advanced Matrix Extensions

Ce trebuie să știți

Cum funcționează

AMX folosește registre bidimensionale configurate de tip dală (tile) în locul vectorilor obișnuiți YMM/ZMM. Configurarea dalelor descrie formele active, în timp ce extensiile aritmetice, precum AMX-INT8 sau AMX-BF16, definesc operații matriceale specifice și formate numerice. Software-ul împachetează datele și alege forme valide respectând limitele de paletă enumerate.

Unde este utilă

O bibliotecă matriceală poate transpune un nucleu acceptat în încărcări de dale, operații de produs scalar și salvări de dale. Costul de împachetare, dimensiunile matricelor și localizarea în cache pot domina sarcinile de lucru mici sau neregulate. Hardware-ul pentru dale nu face ca orice operator de rețea neuronală să fie eligibil pentru accelerare.

Cum se verifică suportul și activarea

Verificați AMX-TILE și fiecare extensie aritmetică necesară în frunza CPUID 7, enumerați limitele dalelor și confirmați starea activată de sistemul de operare. Pe Linux, aplicațiile care utilizează date dinamice pentru dale trebuie să respecte fluxul documentat ARCH_REQ_XCOMP_PERM; suportul și biții XCR0 nu sunt suficienți de unii singuri.

Disponibilitatea hardware este doar primul pas. Driverul, mediul de execuție, furnizorul de execuție, operatorii acceptați și formatul numeric trebuie să corespundă aplicației. Inspectați selecția reală a backend-ului și mecanismul de rezervă, în loc să presupuneți că o etichetă de tip IA înseamnă că orice model este accelerat.

Ce nu stabilește această caracteristică

AMX nu înseamnă AVX-512, un NPU general sau orice format aritmetic AMX. Un bit CPU singur nu oferă permisiuni pentru proces sau suficient spațiu pe stiva de semnale. Formele neacceptate de dale sau lipsa permisiunii din sistemul de operare pot genera erori chiar și pe o mașină capabilă de AMX.

Compatibilitatea și performanța în practică

Comparați sarcini complete de lucru în condiții specificate, inclusiv compilarea, transferurile și operatorii neacceptați. Numărul maxim de operații pe secundă depinde de precizie și de ipotezele de calcul. Acesta nu înlocuiește măsurătorile de latență, debit, consum de energie sau acuratețe a modelului.

O listă practică de verificare

1. Înregistrați modelul exact de procesor sau platformă și versiunile aplicației, sistemului de operare și mediului de execuție (runtime) implicate. Păstrați formularea exactă a erorii sau a cerinței.
2. Verificați documentația de referință a producătorului pentru acel model exact, apoi inspectați capacitatea efectivă și starea activată în mediul în care rulează programul.
3. Comparați fiecare cerință a binarului sau backend-ului selectat. O caracteristică cu nume similar, un alias sau o etichetă tehnologică generală nu este suficientă.
4. Confirmați că aplicația a selectat implementarea dorită. Utilizați diagnosticele documentate ale acesteia și o soluție de rezervă acceptată atunci când cerințele nu sunt îndeplinite.
5. Aplicați câte o singură modificare acceptată pe rând și repetați aceeași sarcină de lucru. Păstrați disponibile configurația inițială și calea de recuperare.

Dacă funcția este listată, dar software-ul nu o poate folosi

Începeți cu componenta exactă care eșuează. O bază de date hardware descrie capacitatea înregistrată; sistemul de operare sau hipervizorul poate expune un mediu efectiv diferit. O eroare de tip instrucțiune ilegală (illegal-instruction) necesită, de asemenea, investigarea instrucțiunii reale care a generat eroarea și a versiunii compilate a binarului, deoarece coruperea datelor sau o instrucțiune neacceptată fără legătură poate produce un simptom similar.

Instalați versiunea de aplicație, driver sau mediu de execuție compatibilă exact cu acea platformă și utilizați versiunea de bază sau de rezervă documentată de producător, dacă este necesar. O actualizare software nu poate crea o instrucțiune care îi lipsește procesorului. Modificările de firmware și de politici de securitate ar trebui să respecte procedura producătorului sistemului și un plan de recuperare, mai degrabă decât o rețetă generică de optimizare.

Caracteristici conexe și distincții utile

AVX-VNNI · Deep Learning Boost · Unitate de procesare neuronală (NPU) · XSAVE

Sursele și domeniul de aplicare al acestei explicații

Intel 64 and IA-32 Architectures Software Developer's Manual · Kernelul Linux: utilizarea caracteristicilor XSTATE în spațiul utilizator

Aceste referințe stabilesc comportamentul arhitectural și cerințele software. Ele nu verifică independent fiecare valoare de caracteristică de pe o pagină de model hardware asociată. Pentru suportul la nivel de model, utilizați dovezile furnizate de producător pe acea pagină și verificați configurația efectivă a sistemului. Acest articol nu furnizează date din benchmark-uri, certificări sau recenzii independente.

Asociate

Aceste entități au legătură cu acest articol. Tipul este afișat pe fiecare link.

Surse și verificare

Proprietate editorială: Feex. Nu este înregistrată nicio dată de verificare independentă. Cum cercetăm.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Volumele 1 și 2 descriu familiile de instrucțiuni numite și CPUID; Volumul 3 descrie starea, paginarea, VMX și controalele de protecție. Documentația de arhitectură nu stabilește suportul pentru un anumit model.
• Kernelul Linux: utilizarea caracteristicilor XSTATE în spațiul utilizator · Starea vectorială activată de sistemul de operare, starea dalelor activată dinamic, cerințele pentru stiva de semnale și fluxul de permisiuni AMX. Comportamentul specific Linux nu constituie o garanție pentru un alt sistem de operare.