AMX, Advanced Matrix Extensions

Čo potrebujete vedieť

Ako to funguje

AMX používa konfigurované dvojrozmerné dlaždicové registre namiesto bežných vektorov YMM/ZMM. Konfigurácia dlaždíc popisuje aktívne tvary, zatiaľ čo aritmetické rozšírenia ako AMX-INT8 alebo AMX-BF16 definujú konkrétne maticové operácie a číselné formáty. Softvér balí dáta a vyberá platné tvary v rámci enumerovaných limitov palety.

Kde je to užitočné

Maticová knižnica dokáže transformovať podporované jadro na načítania dlaždíc, operácie skalárneho súčinu a zápisy dlaždíc. Náklady na balenie dát, rozmery matíc a lokalita vyrovnávacej pamäte môžu dominovať pri malých alebo nepravidelných záťažiach. Dlaždicový hardvér nespôsobuje, že každý operátor neurónovej siete je vhodný na akceleráciu.

Ako overiť podporu a povolenie

Skontrolujte AMX-TILE a každé požadované aritmetické rozšírenie v CPUID leaf 7, enumerujte limity dlaždíc a overte stav povolený operačným systémom. V systéme Linux musia aplikácie používajúce dynamické dáta dlaždíc dodržiavať dokumentovaný postup ARCH_REQ_XCOMP_PERM; samotná podpora a bity XCR0 nepostačujú.

Dostupnosť hardvéru je len prvým krokom. Ovládač, runtime, poskytovateľ vykonávania, podporované operátory a číselný formát sa musia zhodovať s aplikáciou. Skontrolujte skutočný výber backendu a záložné riešenie namiesto predpokladu, že označenie AI znamená akceleráciu každého modelu.

Čo táto funkcia nezakladá

AMX neznamená AVX-512, univerzálny NPU ani každý aritmetický formát AMX. Samotný bit CPU nezakladá oprávnenie procesu ani dostatočný stav zásobníka signálov. Nepodporované tvary dlaždíc alebo chýbajúce oprávnenie OS môžu spôsobiť zlyhanie aj na počítači s podporou AMX.

Kompatibilita a výkon v praxi

Porovnávajte kompletné pracovné zaťaženia za definovaných podmienok vrátane kompilácie, prenosov a nepodporovaných operátorov. Špičkový počet operácií za sekundu závisí od presnosti a predpokladov výpočtu. Nie je náhradou za nameranú latenciu, priepustnosť, spotrebu energie ani presnosť modelu.

Praktický kontrolný zoznam na overenie

1. Zaznamenajte presný model procesora alebo platformy a príslušné verzie aplikácie, operačného systému a runtime prostredia. Zachovajte presné znenie skutočnej chyby alebo požiadavky.
2. Skontrolujte referenčnú dokumentáciu výrobcu pre daný presný model a potom preverte efektívnu schopnosť a povolený stav v prostredí, kde program beží.
3. Porovnajte každú požiadavku vybraného binárneho súboru alebo backendu. Podobne pomenovaná funkcia, alias alebo široké technologické označenie nepostačujú.
4. Uistite sa, že aplikácia vybrala zamýšľanú implementáciu. Ak požiadavky nie sú splnené, použite jej dokumentovanú diagnostiku a podporované náhradné riešenie.
5. Vykonávajte vždy len jednu podporovanú zmenu a zopakujte rovnaké pracovné zaťaženie. Ponechajte si k dispozícii pôvodnú konfiguráciu a postup obnovy.

Ak je funkcia uvedená, ale softvér ju nemôže použiť

Začnite presne pri zlyhávajúcom komponente. Hardvérová databáza popisuje zaznamenanú schopnosť; operačný systém alebo hypervízor však môže sprístupniť iné efektívne prostredie. Chyba neplatnej inštrukcie si vyžaduje aj preskúmanie skutočnej chybujúcej inštrukcie a zostavenia binárneho súboru, pretože poškodenie alebo nesúvisiaca nepodporovaná inštrukcia môže vyvolať podobný príznak.

Nainštalujte verziu aplikácie, ovládača alebo runtime prostredia podporovanú pre presnú platformu a v prípade potreby použite dodávateľom dokumentované základné alebo záložné zostavenie. Aktualizácia softvéru nedokáže vytvoriť inštrukciu, ktorú procesor nemá. Zmeny firmvéru a bezpečnostných politík by sa mali riadiť postupom výrobcu systému a plánom obnovy, nie generickým návodom na optimalizáciu.

Súvisiace funkcie a užitočné rozdiely

AVX-VNNI · Deep Learning Boost · Neurónová procesorová jednotka (NPU) · XSAVE

Zdroje a rozsah tohto vysvetlenia

Intel 64 and IA-32 Architectures Software Developer's Manual · Jadro Linuxu: používanie funkcií XSTATE v používateľskom priestore

Tieto referencie definujú architektonické správanie a softvérové požiadavky. Neoverujú nezávisle každú hodnotu funkcie na prepojenej stránke hardvérového modelu. Podporu modelu nájdete v podkladoch od výrobcu na danej stránke a skontrolujte efektívnu konfiguráciu systému. Tento článok neposkytuje dátum benchmarku, certifikácie ani nezávislej recenzie.

Súvisiace

Tieto entity sú prepojené s týmto článkom. Typ je zobrazený na každom odkaze.

Zdroje a overenie

Redakčné vlastníctvo: Feex. Nie je zaznamenaný žiadny dátum nezávislej kontroly. Ako robíme výskum.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Zväzky 1 a 2 popisujú uvedené rodiny inštrukcií a CPUID; Zväzok 3 popisuje stav, stránkovanie, VMX a ovládacie prvky ochrany. Dokumentácia k architektúre nezaručuje podporu pre konkrétny model.
• Jadro Linuxu: používanie funkcií XSTATE v používateľskom priestore · Vektorový stav povolený operačným systémom, dynamicky povolený stav dlaždíc, požiadavky na zásobník signálov a proces udeľovania oprávnení pre AMX. Správanie špecifické pre Linux nie je prísľubom pre iný operačný systém.