Passa ô cuntinutu

AVX-VNNI

Rifirimentu d'archititturaFeex

AVX-VNNI furnisci istrbuzzioni di prudottu a puntu vitturiali cu cudìfica VEX usati di kernel adatti d'infirenza a nteri e d'elabborazzioni dî signali. Esti distintu di AVX-512 VNNI e d'un NPU.

Chiḍḍu ca t'hà sapiri

AVX-VNNI furnisci istrbuzzioni di prudottu a puntu vitturiali cu cudìfica VEX usati di kernel adatti d'infirenza a nteri e d'elabborazzioni dî signali. Esti distintu di AVX-512 VNNI e d'un NPU.

Comu funziona

L'estinzioni AVX-VNNI urigginali ncludi upirazzioni di murtipricazzioni e accumulazzioni a byte e word supra vittura a 128 bit o 256 bit. P'asempiu, VPDPBUSD murtìprica byte senza signu pi byte cu signu, summa li gruppi 'n doubleword e accumula ntô distinatàriu. Li varianti a saturazzioni hannu lu so cumpurtamentu di overflow. La quantizzazzioni e lu signu hannu a currispùnniri a l'upirazzioni silizziunata.

Unni e' ùtili

Na libbrirìa di riti nurali pò usari sti prudotti a puntu pi un kernel di matrici quantizzata doppu aviri maccatu li pisi e silizziunatu n'implimintazzioni di runtime adatta. La cunvirsioni dî dati, li scali, li punti di zeru e lu spustamentu dâ mimoria cùntanu ancora. Un prudottu nternu cchiù viloci non stabbilisci la pricisioni dû mudellu end-to-end o la latenza di l'applicazzioni.

Comu cuntrollari lu supportu e l'abbilitazzioni

Cuntrolla lu statu AVX abbilitatu, poi CPUID.07H.01H:EAX bit 4 pi l'estinzioni AVX-VNNI urigginali, doppu aviri virificatu l'ntirvalli suppurtati di leaf e subleaf. Cuntrolla bit siparati pi varianti succissivi. Cunferma ca la libbrirìa hà silizziunatu lu so percorsu VEX currispunnenti pi sustituiri un percorsu AVX-512.

Lu prugramma havi sia a cuntèniri na mplimintazzioni apprupriata sia a silizziunàrila a runtime. La nummarazzioni di l'hardware, lu statu dî riggistri abbilitatu dû SO e la basi cumpilata dû binariu sunnu cuntrolli siparati. Na màchina virtùali po ammustrari apposta menu funziunalitati dû sò host, e un container nun agghiunci struzzioni a la CPU host.

Zoccu la funziunalitati nun stabbilisci

AVX-VNNI non ìngròbba AVX-512, AMX, ogni estinzioni VNNI succissiva o lu supportu pi ogni tipu di nteri. AVX-VNNI-INT8 e AVX-VNNI-INT16 hannu n'annumurazzioni di carattirìstichi siparata e non s'hannu a dèduciri dû bit urigginali di AVX-VNNI.

Cumpatibbilitati e pristazzioni nnâ pràtica

Misuredda lu caricu di travagghiu cumpletu cu dati rapprisintativi. Vettura cchiù larghi ponnu arridùciri lu nùmmaru di struzzioni lassannu lu tràfficu di mimoria, la sincrunizzazzioni o i costi di cunvirsioni nun canciati. La latenza dî struzzioni, lu throughput e lu cumpurtamentu d'energìa dipènninu dâ microarchitittura esatta e dî cunnizzioni upirativi.

Na lista di virìfica pràtica

  1. Riggistra lu mudellu esattu dû prucissuri o dâ piattafurma e li virsioni di l'applicazzioni, dû SO e dû runtime cuinvorti. Manteni la formulazzioni di l'erruri o dû requisitu riali.
  2. Cuntrolla lu rifirimentu dû prudutturi pi ddu mudellu esattu, poi spizziona la capacitati effittiva e lu statu abbilitatu nta l'ambienti unni lu prugramma gira.
  3. Cunfrunta ogni requisitu dû binariu o dû backend silizziunatu. Na funziunalitati cû nomu sìmili, un pseudònimu o n'etichetta ticnulòggica ginèrica nun abbàstanu.
  4. Cunferma ca l'applicazzioni hà silizziunatu la mplimintazzioni privista. Usa la sò diagnòstica ducumintata e un fallback suppurtatu quannu li requisiti nun sunnu suddisfatti.
  5. Fai un canciamentu suppurtatu a la vota e ripeti lu stissu caricu di travagghiu. Manteni dispunìbbili la cunfigurazzioni urigginali e lu pircorsu di ricùp ситуаazzioni.

Si la funziunalitati e' ndicata ma lu software nun la po usari

Accumenza cû cumpunenti esattu ca fallisci. Un database d'hardware discrivi la capacitati riggistrata; lu sistema upirativu o l'hypervisor ponnu ammustrari n'ambienti effittivu diffirenti. N'erruri di struzzioni illigali addanna puru n'indàggini supra la struzzioni ca fallisci pi daveru e supra la build binaria, picchì la curruzzioni o na struzzioni nun currilata e nun suppurtata ponnu fari un sìntumu sìmili.

Installa la virsioni di l'applicazzioni, dû driver o dû runtime suppurtata pâ piattafurma esatta, e usa la build di basi o di fallback ducumintata dû prudutturi si n'hai bisognu. N'aggiurnamentu dû software nun po criari na struzzioni ca manca nnô prucissuri. Li canciamenti di firmware e di pulìtica di sicurizza avìssiru a sèquiri la prucidura dû prudutturi dû sistema e un pianu di ricùpiru mmeci d'un ricittariu d'uttimizzazzioni ginèricu.

Funti e scanciu di st'esplicazzioni

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: using XSTATE features in user space

Sti rifirimenti stabbilìscinu lu cumpurtamentu architittùnicu e li requisiti dû software. Nun virìficanu di manera ndipinnenti ogni valuri di funziunalitati nta na pàggina d'un mudellu hardware culligatu. Pû supportu dû mudellu, usa li provi dû prudutturi di dda pàggina e cuntrolla la cunfigurazzioni effittiva dû sistema. St'artìculu nun duna un benchmark, na cirtificazzioni o na data di rivisioni ndipinnenti.

Funti e virìfica

Titularità editoriali: Feex. Nudda data di rivisioni nnipinnenti è riggistrata. Comu facemu i ricerchi.

  • Intel 64 and IA-32 Architectures Software Developer's Manual · Li Vulumi 1 e 2 discrìvinu li famigghi di struzzioni muntuati e CPUID; lu Vulumi 3 discrivi statu, pagginazzioni, VMX e cuntrolli di prutizzioni. La ducumintazzioni d'architittura nun stabbilisci lu supportu pi un mudellu particulari.
  • Linux kernel: using XSTATE features in user space · Statu vitturiali abbilitatu dû SO, statu dî tile abbilitatu dinamicamenti, requisiti dû signal stack e flussu di pirmissu AMX. Lu cumpurtamentu spicìficu di Linux nun e' na prumissa supra n'àutru SO.

Fu ùtili st'artìculu?

Un sì o un no abbasta. Scegghi un mutivu si voi, o junci na nota curta.

Fu ùtili st'artìculu?