AMX, Advanced Matrix Extensions

Chiḍḍu ca t'hà sapiri

Comu funziona

AMX usa riggistri tile bidiminziunali cunfigurati cchiuttostu ca li normali vettura YMM/ZMM. La cunfigurazzioni dî tile discrivi li formi attivi, mentri l'estinzioni aritmètichi comu AMX-INT8 o AMX-BF16 difinìscinu opirazzioni matriciali particulari e furmati numèrici. Lu software mpacca i dati e scegghi formi vàlidi sutta li lìmiti dâ tavula d'attributi nummarata.

Unni e' ùtili

Na libbrirìa matriciali po abbassari un kernel suppurtatu versu caricamenti di tile, opirazzioni di prudottu scalaru e mimurizzazzioni di tile. Lu costu di mpaccamentu, li diminzioni dâ matrici e la lucalitati dâ cache ponnu duminari carichi di travagghiu nichi o nun rigulari. L'hardware dî tile nun renni ogni upiraturi di riti neurali idòniu pi l'accillirazzioni.

Comu cuntrollari lu supportu e l'abbilitazzioni

Cuntrolla AMX-TILE e ogni estinzioni aritmètica addumannata nnâ fogghia 7 di CPUID, elenca li lìmiti dî tile e cunferma lu statu abbilitatu dû SO. Supra Linux, l'applicazzioni ca ùsanu dati tile dinàmici hànnu a sèquiri lu flussu ARCH_REQ_XCOMP_PERM ducumintatu; li suli bit di supportu e XCR0 nun abbàstanu.

La dispunibbilitati di l'hardware e' sulu lu primu passu. Lu driver, lu runtime, l'execution provider, l'upiraturi suppurtati e lu furmatu numèricu hànnu a currispùnniri a l'applicazzioni. Spizziona la silizzioni riali dû backend e lu fallback mmeci d'assùmiri ca n'etichetta AI signìfica ca ogni mudellu veni accilliratu.

Zoccu la funziunalitati nun stabbilisci

AMX nun signìfica AVX-512, na NPU ginirali o ogni furmatu aritmèticu AMX. Un bit dâ CPU sulu nun stabbilisci lu pirmissu dû prucessu o statu sufficienti nnô signal stack. Formi di tile nun suppurtati o pirmissi dû SO mancanti ponnu fari fallimentu macari supra na màchina cu capacitati AMX.

Cumpatibbilitati e pristazzioni nnâ pràtica

Cunfrunta carichi di travagghiu cumpleti sutta cunnizzioni chiariti, nclujennu cumpilazzioni, trasfirimenti e upiraturi nun suppurtati. L'opirazzioni ô secunnu di piccu dipènninu dâ pricisioni e di l'assunzioni di cunteggiu. Nun sunnu un sustitutu pâ latenza misurata, lu throughput, l'energìa o la pricisioni dû mudellu.

Na lista di virìfica pràtica

1. Riggistra lu mudellu esattu dû prucissuri o dâ piattafurma e li virsioni di l'applicazzioni, dû SO e dû runtime cuinvorti. Manteni la formulazzioni di l'erruri o dû requisitu riali.
2. Cuntrolla lu rifirimentu dû prudutturi pi ddu mudellu esattu, poi spizziona la capacitati effittiva e lu statu abbilitatu nta l'ambienti unni lu prugramma gira.
3. Cunfrunta ogni requisitu dû binariu o dû backend silizziunatu. Na funziunalitati cû nomu sìmili, un pseudònimu o n'etichetta ticnulòggica ginèrica nun abbàstanu.
4. Cunferma ca l'applicazzioni hà silizziunatu la mplimintazzioni privista. Usa la sò diagnòstica ducumintata e un fallback suppurtatu quannu li requisiti nun sunnu suddisfatti.
5. Fai un canciamentu suppurtatu a la vota e ripeti lu stissu caricu di travagghiu. Manteni dispunìbbili la cunfigurazzioni urigginali e lu pircorsu di ricùp ситуаazzioni.

Si la funziunalitati e' ndicata ma lu software nun la po usari

Accumenza cû cumpunenti esattu ca fallisci. Un database d'hardware discrivi la capacitati riggistrata; lu sistema upirativu o l'hypervisor ponnu ammustrari n'ambienti effittivu diffirenti. N'erruri di struzzioni illigali addanna puru n'indàggini supra la struzzioni ca fallisci pi daveru e supra la build binaria, picchì la curruzzioni o na struzzioni nun currilata e nun suppurtata ponnu fari un sìntumu sìmili.

Installa la virsioni di l'applicazzioni, dû driver o dû runtime suppurtata pâ piattafurma esatta, e usa la build di basi o di fallback ducumintata dû prudutturi si n'hai bisognu. N'aggiurnamentu dû software nun po criari na struzzioni ca manca nnô prucissuri. Li canciamenti di firmware e di pulìtica di sicurizza avìssiru a sèquiri la prucidura dû prudutturi dû sistema e un pianu di ricùpiru mmeci d'un ricittariu d'uttimizzazzioni ginèricu.

Funziunalitati currilati e distinzioni ùtili

AVX-VNNI · Deep Learning Boost · Unitati di Prucissamentu Nnaurali (NPU) · XSAVE

Funti e scanciu di st'esplicazzioni

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: using XSTATE features in user space

Sti rifirimenti stabbilìscinu lu cumpurtamentu architittùnicu e li requisiti dû software. Nun virìficanu di manera ndipinnenti ogni valuri di funziunalitati nta na pàggina d'un mudellu hardware culligatu. Pû supportu dû mudellu, usa li provi dû prudutturi di dda pàggina e cuntrolla la cunfigurazzioni effittiva dû sistema. St'artìculu nun duna un benchmark, na cirtificazzioni o na data di rivisioni ndipinnenti.

Currilati

St'entità si cullèganu a st'artìculu. U tipu è ammustratu supra ogni culligamentu.

Funti e virìfica

Titularità editoriali: Feex. Nudda data di rivisioni nnipinnenti è riggistrata. Comu facemu i ricerchi.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Li Vulumi 1 e 2 discrìvinu li famigghi di struzzioni muntuati e CPUID; lu Vulumi 3 discrivi statu, pagginazzioni, VMX e cuntrolli di prutizzioni. La ducumintazzioni d'architittura nun stabbilisci lu supportu pi un mudellu particulari.
• Linux kernel: using XSTATE features in user space · Statu vitturiali abbilitatu dû SO, statu dî tile abbilitatu dinamicamenti, requisiti dû signal stack e flussu di pirmissu AMX. Lu cumpurtamentu spicìficu di Linux nun e' na prumissa supra n'àutru SO.