AMX, Advanced Matrix Extensions

Amit tudni érdemes

Hogyan működik

Az AMX konfigurált, kétdimenziós csemperegisztereket használ a hagyományos YMM/ZMM vektorok helyett. A csempekonfiguráció leírja az aktív alakzatokat, míg az aritmetikai kiterjesztések, például az AMX-INT8 vagy az AMX-BF16, meghatározott mátrixműveleteket és numerikus formátumokat definiálnak. A szoftver tömöríti az adatokat, és érvényes alakzatokat választ a felsorolt palettakorlátok alapján.

Ahol hasznos

Egy mátrixfüggvénytár képes egy támogatott számítási magot csempebetöltésekre, skaláris szorzási műveletekre és csempementésekre bontani. Az adatcsomagolási költségek, a mátrixméretek és a gyorsítótár-lokalitás dominálhatják a kis vagy szabálytalan munkaterheléseket. A csempehardver nem tesz minden neurálisháló-operátort alkalmassá a gyorsításra.

A támogatás és az engedélyezés ellenőrzése

Ellenőrizze az AMX-TILE és minden szükséges aritmetikai kiterjesztés meglétét a 7-es CPUID-lapon, kérdezze le a csempekorlátokat, és erősítse meg az operációs rendszer által engedélyezett állapotot. Linux alatt a dinamikus csempeadatokat használó alkalmazásoknak a dokumentált ARCH_REQ_XCOMP_PERM folyamatot kell követniük; a támogatási és az XCR0 bitek önmagukban nem elegendők.

A hardver elérhetősége csak az első lépés. Az illesztőprogramnak, a futtatókörnyezetnek, a végrehajtási szolgáltatónak, a támogatott operátoroknak és a numerikus formátumnak illeszkednie kell az alkalmazáshoz. Vizsgálja meg a tényleges háttérrendszer-választást és a tartalék megoldást ahelyett, hogy feltételezné: egy AI-címke azt jelenti, hogy minden modell gyorsított.

Amit a funkció nem biztosít

Az AMX nem jelent AVX-512-t, általános NPU-t vagy minden AMX aritmetikai formátumot. Egy CPU-bit önmagában nem biztosít folyamatengedélyt vagy elegendő jelverem-állapotot. A nem támogatott csempealakzatok vagy a hiányzó operációsrendszer-engedélyek még egy AMX-képes gépen is hibát eredményezhetnek.

Kompatibilitás és teljesítmény a gyakorlatban

Hasonlítsa össze a teljes munkaterheléseket meghatározott feltételek mellett, beleértve a fordítást, az adatátvitelt és a nem támogatott operátorokat. A másodpercenkénti csúcsműveletek száma a pontosságtól és a számlálási feltételezésektől függ. Nem helyettesítik a mért késleltetést, az átviteli sebességet, az energiafogyasztást vagy a modell pontosságát.

Gyakorlati ellenőrzőlista

1. Rögzítse az érintett processzor vagy platform pontos modelljét, valamint az alkalmazás, az operációs rendszer és a futtatókörnyezet verzióját. Őrizze meg a tényleges hiba vagy követelmény pontos szövegezését.
2. Ellenőrizze az adott modellhez tartozó gyártói referenciát, majd vizsgálja meg a tényleges képességet és az engedélyezett állapotot abban a környezetben, ahol a program fut.
3. Vesse össze a kiválasztott bináris vagy háttérrendszer minden követelményét. Egy hasonló elnevezésű funkció, álnév vagy tág technológiai címke nem elegendő.
4. Győződjön meg arról, hogy az alkalmazás a kívánt implementációt választotta ki. Használja annak dokumentált diagnosztikai eszközeit és egy támogatott tartalék megoldást, ha a követelmények nem teljesülnek.
5. Egyszerre csak egy támogatott módosítást hajtson végre, és ismételje meg ugyanazt a munkaterhelést. Tartsa elérhetően az eredeti konfigurációt és a helyreállítási útvonalat.

Ha a funkció szerepel a listán, de a szoftver nem tudja használni

Kezdje a hibát jelző pontos komponenssel. A hardveradatbázis a rögzített képességet írja le; az operációs rendszer vagy a hipervizor ettől eltérő tényleges környezetet tehet elérhetővé. Az érvénytelen utasítás miatti hiba (illegal-instruction) esetén a ténylegesen hibát okozó utasítást és a bináris összeállítást is vizsgálni kell, mivel az adatsérülés vagy egy nem kapcsolódó, nem támogatott utasítás is hasonló tünetet produkálhat.

Telepítse az adott platformhoz támogatott alkalmazás-, illesztőprogram- vagy futtatókörnyezet-verziót, és szükség esetén használja a gyártó által dokumentált alapértelmezett vagy tartalék változatot. Egy szoftverfrissítés nem hozhat létre olyan utasítást, amellyel a processzor nem rendelkezik. A firmware- és biztonságipolitika-módosítások során a rendszer gyártójának eljárását és egy helyreállítási tervet kell követni egy általános optimalizálási recept helyett.

Kapcsolódó funkciók és hasznos különbségtételek

AVX-VNNI · Deep Learning Boost · Neurális feldolgozóegység (NPU) · XSAVE

A magyarázat forrásai és hatóköre

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: XSTATE funkciók használata a felhasználói térben

Ezek a hivatkozások az architekturális viselkedést és a szoftverkövetelményeket határozzák meg. Nem ellenőrzik függetlenül a hivatkozott hardvermodell oldalán található összes funkcióértéket. A modell támogatásához használja az adott oldal gyártói bizonyítékait, és ellenőrizze a tényleges rendszerkonfigurációt. Ez a cikk nem tartalmaz teljesítménytesztet, tanúsítást vagy független felülvizsgálati dátumot.

Kapcsolódó

Ezek az entitások kapcsolódnak ehhez a cikkhez. A típus minden hivatkozáson megjelenik.

Források és ellenőrzés

Szerkesztői jogtulajdonos: Feex. Független felülvizsgálati dátum nincs rögzítve. Hogyan kutatunk.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Az 1. és 2. kötet a megnevezett utasításcsaládokat és a CPUID-t ismerteti; a 3. kötet az állapot-, lapozás-, VMX- és védelmi vezérlőket tárgyalja. Az architektúra-dokumentáció nem igazolja egy adott modell támogatását.
• Linux kernel: XSTATE funkciók használata a felhasználói térben · Operációs rendszer által engedélyezett vektorállapot, dinamikusan engedélyezett csempeállapot, jelverem-követelmények és AMX engedélyezési folyamat. A Linux-specifikus viselkedés nem jelent garanciát más operációs rendszerekre.