AMX, Advanced Matrix Extensions

Chello ca t'hê 'a sapé

Comme fonsiona

AMX ausa riggistre tile bidimensionali cunfigurati mméce d' 'e classece vetturi YMM/ZMM. 'A cunfigurazzione d' 'e tile descrive 'e fforme attive, mentre ll'estenzziune aritmèteche comm'a AMX-INT8 o AMX-BF16 definisceno operazziune matriciali particulare e furmate nummerece. 'O software 'mpacchetta 'e dati e sciglie forme valide siconno 'e limite d' 'a tavula enumerata.

Addò serve

Na libbreria matriciale po trasfurmà nu kernel supportato 'n carrecamiente 'e tile, operazziune 'e prudotto scalare e sarvatagge 'e tile. 'O costo 'e ll'impacchettamento, 'e dimenziune d' 'a matrice e 'a localita d' 'a cache ponno pisà assaje ngopp'a cariche piccerilli o irregulari. Ll'hardware tile nun fa addeventà ogne operatore 'e rete neurale bbuono pe ll'accelerazzione.

Comme se cuntrolla 'o supporto e ll'abbilitazzione

Cuntrolla AMX-TILE e ogne estenzione aritmèteca addimannata dint' 'a foglia CPUID 7, nummera 'e limite d' 'e tile e cunferma 'o stato abbilitato d' 'o sistema operativo. Ngopp'a Linux, ll'applicazziune ca ausano dati tile dinamici hann' 'a siguità 'o flusso documentato ARCH_REQ_XCOMP_PERM; 'o supporto e 'e bit XCR0 da suli nun abbastano.

'A dispunibbilita hardware e sulo 'o primmo passo. 'O driver, 'o runtime, ll'execution provider, ll'operature supportate e 'o furmato nummereco hann' 'a cumbacià cu ll'applicazzione. Cuntrolla 'a scelta effettiva d' 'o backend e ll'alternativa mméce 'e penzà ca n'etichetta AI vo dicere ca ogne mudello vene accelerato.

Chello ca 'a funzionalita nun stabbilisce

AMX nun vo dicere AVX-512, na NPU generale o ogne furmato aritmèteco AMX. Nu bit d' 'a CPU da sulo nun stabbilisce 'o perzmesso d' 'o prucesso o nu stato 'e signal-stack bastante. Forme 'e tile nun supportate o 'o perzmesso mancante d' 'o sistema operativo ponno aizzà n'errore pure ngopp'a na macchina ca tene AMX.

Cumpatibbilita e prestazziune dint' 'a prateca

Cunfrunta cariche 'e fatica sani siconno 'e ccundizziune stabilite, cumpresi 'a cumpilazzione, 'e passagge e ll'operature nun supportati. Ll'operazziune massime a 'o secunno dipènnene d' 'a precisione e d' 'e cunte 'e base. Nun songo nu sustituto pe latenza, portata, energia o accuratezza d' 'o mudello misurate.

Na lista 'e verifeca prateca

1. Riggistra 'o mudello esatto d' 'o prucessore o d' 'a piattaforma e 'e vversione 'e ll'applicazzione, d' 'o sistema operativo e d' 'o runtime cumbulute. Mantien' 'e pparole esatte 'e ll'errore o d' 'o requisito overo.
2. Cuntrolla 'o riferimento d' 'o costruttore pe chillu mudello esatto, po verifeca 'a capacita effettiva e 'o stato abbilitato dint'a ll'ambiente addò gira 'o prugramma.
3. Cunfrunta ogne requisito d' 'o binario o backend sciveto. Na funzionalita cu nu nomme sumigliante, n'alias o n'etichetta tecnologgeca generale nun abbasta.
4. Cunferma ca ll'applicazzione ha sciveto ll'implementazzione vuluta. Ausa 'a diagnosteca documentata soja e n'alternativa supportata quanno 'e requisite nun songo rispettate.
5. Fa nu sulo cagnamento supportato a ll'avota e ripete 'o stesso carico 'e fatica. Mantien' 'a cunfigurazzione origginale e 'a via 'e recuppero a portata 'e mana.

Si 'a funzionalita sta scritta ma 'o software nun 'a po ausà

Pparti d' 'o cumponente esatto ca falla. Nu database hardware descrive 'a capacita riggistrata; 'o sistema operativo o ll'hypervisor po mustrà n'ambiente effettivo diverzo. N'errore 'e struzzione illegale addimanna pure 'e verificà 'a struzzione ca sgarra overamente e 'a build d' 'o binario, pecché na corruzzione o n'ata struzzione nun supportata po dà nu sintomo simile.

Stalla 'a vversione 'e ll'applicazzione, d' 'o driver o d' 'o runtime supportata p' 'a piattaforma esatta, e ausa 'a baseline documentata d' 'o costruttore o na build 'e fallback si serve. N'aggiurnamento software nun po crià na struzzione ca 'o prucessore nun tene. 'E cagnamiente a 'o firmware e 'e puliteche 'e sicurezza hann' 'a siguità 'a prucedura d' 'o costruttore d' 'o sistema e nu pピアノ 'e recuppero mméce 'e na ricetta generale 'e uttimizzazzione.

Funzionalita cullegate e distinzziune utele

AVX-VNNI · Deep Learning Boost · Neural Processing Unit (NPU) · XSAVE

Funte e ambito 'e sta spiegazzione

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: using XSTATE features in user space

Sti riferimente stabbilisceno 'o cumpurtamento 'e ll'architettura e 'e requisite d' 'o software. Nun verificano 'e manera 'ndipennente ogne valore 'e funzionalita ngopp'a na paggena 'e nu mudello hardware culegato. P' 'o supporto d' 'o mudello, ausa ll'evidenze d' 'o costruttore 'e chella paggena e verifeca 'a cunfigurazzione effettiva d' 'o sistema. St'articulo nun furnesce benchmark, certificazzione o data 'e revisone 'ndipennente.

Cose cullegate

Sti ccose songo cullegate a chist'articulo. 'O tipo se vede 'ncopp'a ogne cullegamento.

Funte e verìfeca

Prupietà editoriale: Feex. Nisciuna data 'e revisizzione 'ndipennente è riggistrata. Comme facimmo 'e recerche.

• Intel 64 and IA-32 Architectures Software Developer's Manual · 'E Vulume 1 e 2 descrivono 'e ffamiglie 'e struzzione cu nomme e 'o CPUID; 'o Vulume 3 descrive 'o stato, 'a pagginazzione, VMX e 'e cuntrolle 'e prutezzione. 'A documentazzione 'e ll'architettura nun stabbilisce 'o supporto pe nu mudello particulare.
• Linux kernel: using XSTATE features in user space · Stato vetturiale abbilitato d' 'o sistema operativo, stato tile abbilitato dinamicamente, requisite 'e signal-stack e flusso 'e perzmesso AMX. 'O cumpurtamento specifeche pe Linux nun e na prumessa pe n'ato sistema operativo.