AMX, Advanced Matrix Extensions

Šta trebate znati

Kako radi

AMX koristi konfigurisane dvodimenzionalne registre pločica umjesto običnih YMM/ZMM vektora. Konfiguracija pločica opisuje aktivne oblike, dok aritmetička proširenja poput AMX-INT8 ili AMX-BF16 definiraju specifične matrične operacije i numeričke formate. Softver pakuje podatke i bira važeće oblike unutar popisanih granica palete.

Gdje je korisno

Matrična biblioteka može prevesti podržano jezgro u učitavanja pločica, operacije skalarnog proizvoda i spremanja pločica. Trošak pakovanja, dimenzije matrice i lokalnost predmemorije mogu dominirati malim ili nepravilnim radnim opterećenjima. Hardver pločica ne čini svakog operatera neuronske mreže podobnim za ubrzanje.

Kako provjeriti podršku i omogućavanje

Provjerite AMX-TILE i svako potrebno aritmetičko proširenje u CPUID leaf 7, popišite granice pločica i potvrdite stanje omogućeno od strane OS-a. Na Linuxu, aplikacije koje koriste dinamičke podatke pločica moraju slijediti dokumentirani tok ARCH_REQ_XCOMP_PERM; podrška i XCR0 bitovi sami po sebi nisu dovoljni.

Dostupnost hardvera je samo prvi korak. Drajver, runtime, izvršni provajder, podržani operateri i numerički format moraju odgovarati aplikaciji. Pregledajte stvarni odabir pozadinskog sistema i rezervnu varijantu umjesto da pretpostavljate da AI oznaka znači da je svaki model ubrzan.

Šta ova funkcija ne uspostavlja

AMX ne znači AVX-512, opći NPU ili svaki AMX aritmetički format. CPU bit sam po sebi ne uspostavlja dozvolu procesa ili dovoljno stanje steka signala. Nepodržani oblici pločica ili nedostatak dozvole OS-a mogu izazvati grešku čak i na mašini sposobnoj za AMX.

Kompatibilnost i performanse u praksi

Uporedite kompletna radna opterećenja pod navedenim uslovima, uključujući kompilaciju, prijenose i nepodržane operatere. Vršne operacije u sekundi zavise od preciznosti i pretpostavki brojanja. One nisu zamjena za izmjereno kašnjenje, propusnost, energiju ili tačnost modela.

Praktična lista za provjeru verifikacije

1. Zabilježite tačan model procesora ili platforme te verzije aplikacije, OS-a i runtime okruženja koji se koriste. Sačuvajte formulaciju stvarne greške ili zahtjeva.
2. Provjerite referencu proizvođača za taj tačan model, a zatim pregledajte efektivnu sposobnost i omogućeno stanje u okruženju u kojem se program izvršava.
3. Uporedite svaki zahtjev odabrane binarne datoteke ili pozadinskog sistema. Slično imenovana funkcija, pseudonim ili široka tehnološka oznaka nisu dovoljni.
4. Potvrdite da je aplikacija odabrala predviđenu implementaciju. Koristite njenu dokumentiranu dijagnostiku i podržanu rezervnu varijantu kada zahtjevi nisu ispunjeni.
5. Pravite jednu po jednu podržanu promjenu i ponavljajte isto radno opterećenje. Zadržite izvornu konfiguraciju i dostupan put oporavka.

Ako je funkcija navedena, ali je softver ne može koristiti

Počnite od tačne komponente koja otkazuje. Baza podataka hardvera opisuje zabilježenu sposobnost; operativni sistem ili hipervizor mogu izložiti drugačije efektivno okruženje. Greška nevažeće instrukcije (illegal-instruction) također zahtijeva istragu stvarne instrukcije koja uzrokuje grešku i binarne verzije, jer oštećenje ili nepovezana nepodržana instrukcija mogu proizvesti sličan simptom.

Instalirajte verziju aplikacije, drajvera ili runtime okruženja podržanu za tačnu platformu i po potrebi koristite proizvođačevu dokumentiranu osnovnu ili rezervnu verziju. Ažuriranje softvera ne može stvoriti instrukciju koja procesoru nedostaje. Promjene firmvera i sigurnosnih pravila trebaju pratiti proceduru proizvođača sistema i plan oporavka, a ne generički recept za optimizaciju.

Povezane funkcije i korisne razlike

AVX-VNNI · Deep Learning Boost · Neural Processing Unit (NPU) · XSAVE

Izvori i obim ovog objašnjenja

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: korištenje XSTATE funkcija u korisničkom prostoru

Ove reference uspostavljaju arhitekturno ponašanje i softverske zahtjeve. One ne verifikuju nezavisno svaku vrijednost funkcije na povezanoj stranici modela hardvera. Za podršku modela koristite dokaze proizvođača s te stranice i provjerite efektivnu konfiguraciju sistema. Ovaj članak ne pruža benchmark, certifikaciju ili datum nezavisnog pregleda.

Povezano

Ovi entiteti su povezani s ovim člankom. Tip je prikazan na svakom linku.

Izvori i provjera

Uredničko vlasništvo: Feex. Nije zabilježen datum nezavisne provjere. Kako istražujemo.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Tomovi 1 i 2 opisuju navedene porodice instrukcija i CPUID; Tom 3 opisuje kontrole stanja, straničenja, VMX-a i zaštite. Dokumentacija arhitekture ne utvrđuje podršku za određeni model.
• Linux kernel: korištenje XSTATE funkcija u korisničkom prostoru · Vektorsko stanje omogućeno od strane OS-a, dinamički omogućeno stanje pločica, zahtjevi steka signala i AMX tok dozvola. Ponašanje specifično za Linux nije obećanje za drugi OS.