AMX, Advanced Matrix Extensions

Što trebate znati

Kako funkcionira

AMX koristi konfigurirane dvodimenzionalne registre pločica umjesto običnih YMM/ZMM vektora. Konfiguracija pločica opisuje aktivne oblike, dok aritmetička proširenja kao što su AMX-INT8 ili AMX-BF16 definiraju određene matrične operacije i numeričke formate. Softver pakira podatke i odabire valjane oblike unutar pobrojanih granica palete.

Gdje je korisno

Matrična biblioteka može prevesti podržanu jezgru u učitavanja pločica, operacije skalarnog produkta i pohrane pločica. Trošak pakiranja, dimenzije matrice i lokalnost predmemorije mogu dominirati kod malih ili nepravilnih radnih opterećenja. Hardver za pločice ne čini svaki operator neuronske mreže prikladnim za ubrzanje.

Kako provjeriti podršku i omogućavanje

Provjerite AMX-TILE i svako potrebno aritmetičko proširenje u CPUID listu 7, pobrojite ograničenja pločica i potvrdite stanje omogućeno u OS-u. Na Linuxu, aplikacije koje koriste dinamičke podatke pločica moraju slijediti dokumentirani tijek ARCH_REQ_XCOMP_PERM; sama podrška i XCR0 bitovi nisu dovoljni.

Dostupnost hardvera samo je prvi korak. Upravljački program, izvršno okruženje, pružatelj izvođenja, podržani operatori i numerički format moraju odgovarati aplikaciji. Pregledajte stvarni odabir pozadinskog sustava i zamjenske opcije umjesto da pretpostavljate da AI oznaka znači da je svaki model ubrzan.

Što ova značajka ne utvrđuje

AMX ne znači AVX-512, opći NPU ili svaki AMX aritmetički format. CPU bit sam po sebi ne utvrđuje dopuštenje procesa ili dovoljno stanje stoga signala. Nepodržani oblici pločica ili nedostatak dopuštenja OS-a mogu uzrokovati pogrešku čak i na stroju koji podržava AMX.

Kompatibilnost i performanse u praksi

Usporedite potpuna radna opterećenja pod navedenim uvjetima, uključujući kompilaciju, prijenose i nepodržane operatore. Vršne operacije u sekundi ovise o preciznosti i pretpostavkama brojanja. One nisu zamjena za izmjerenu latenciju, propusnost, energiju ili točnost modela.

Praktičan kontrolni popis za provjeru

1. Zabilježite točan model procesora ili platforme te verzije aplikacije, OS-a i izvršnog okruženja. Sačuvajte formulaciju stvarne pogreške ili zahtjeva.
2. Provjerite proizvođačevu referencu za taj točan model, a zatim pregledajte stvarnu sposobnost i omogućeno stanje u okruženju u kojem se program izvodi.
3. Usporedite svaki zahtjev odabrane binarne datoteke ili pozadinskog sustava. Slično nazvana značajka, pseudonim ili široka tehnološka oznaka nisu dovoljni.
4. Potvrdite da je aplikacija odabrala predviđenu implementaciju. Koristite njezinu dokumentiranu dijagnostiku i podržanu zamjensku opciju kada zahtjevi nisu ispunjeni.
5. Napravite jednu po jednu podržanu promjenu i ponovite isto radno opterećenje. Zadržite izvornu konfiguraciju i put oporavka dostupnima.

Ako je značajka navedena, ali je softver ne može koristiti

Počnite s točnom komponentom koja zakazuje. Hardverska baza podataka opisuje zabilježenu sposobnost; operacijski sustav ili hipervizor mogu izložiti drukčije stvarno okruženje. Pogreška nedopuštene instrukcije također zahtijeva istragu stvarne instrukcije koja uzrokuje pogrešku i binarne građe, jer oštećenje ili nepovezana nepodržana instrukcija mogu proizvesti sličan simptom.

Instalirajte verziju aplikacije, upravljačkog programa ili izvršnog okruženja podržanu za točnu platformu i upotrijebite proizvođačevu dokumentiranu osnovnu ili zamjensku građu ako je potrebno. Softversko ažuriranje ne može stvoriti instrukciju koja procesoru nedostaje. Promjene u firmwareu i sigurnosnim pravilima trebaju slijediti postupak proizvođača sustava i plan oporavka, a ne generički recept za optimizaciju.

Povezane značajke i korisne razlike

AVX-VNNI · Deep Learning Boost · Jedinica za neuronsku obradu (NPU) · XSAVE

Izvori i opseg ovog objašnjenja

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: korištenje značajki XSTATE u korisničkom prostoru

Ove reference utvrđuju arhitekturno ponašanje i softverske zahtjeve. One ne verificiraju neovisno svaku vrijednost značajke na povezanoj stranici hardverskog modela. Za podršku modela upotrijebite proizvođačeve dokaze s te stranice i provjerite stvarnu konfiguraciju sustava. Ovaj članak ne pruža mjerilo performansi, certifikaciju ili datum neovisnog pregleda.

Povezano

Ovi se entiteti povezuju s ovim člankom. Vrsta je prikazana na svakoj poveznici.

Izvori i provjera

Uredničko vlasništvo: Feex. Nije zabilježen datum neovisnog pregleda. Kako istražujemo.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Svesci 1 i 2 opisuju imenovane obitelji instrukcija i CPUID; Svezak 3 opisuje stanje, straničenje, VMX i kontrole zaštite. Dokumentacija arhitekture ne utvrđuje podršku za određeni model.
• Linux kernel: korištenje značajki XSTATE u korisničkom prostoru · Vektorsko stanje omogućeno u OS-u, dinamički omogućeno stanje pločica, zahtjevi za stogom signala i tijek dopuštenja za AMX. Ponašanje specifično za Linux nije obećanje o drugom OS-u.