Přejít k obsahu

AVX-VNNI

Referenční příručka k architektuřeFeex

AVX-VNNI poskytuje instrukce pro vektorový skalární součin kódované pomocí VEX, které využívají vhodné kernely pro celočíselnou inferenci a zpracování signálu. Liší se jak od AVX-512 VNNI, tak od NPU.

Co potřebujete vědět

AVX-VNNI poskytuje instrukce pro vektorový skalární součin kódované pomocí VEX, které využívají vhodné kernely pro celočíselnou inferenci a zpracování signálu. Liší se jak od AVX-512 VNNI, tak od NPU.

Jak to funguje

Původní rozšíření AVX-VNNI zahrnuje operace multiply-accumulate na bajtech a slovech nad 128bitovými nebo 256bitovými vektory. Například VPDPBUSD násobí bezznaménkové bajty znaménkovými bajty, sčítá skupiny do dvojslov (doublewords) a akumuluje je do cíle. Saturační varianty mají vlastní chování při přetečení. Kvantizace a znaménkovost musí odpovídat zvolené operaci.

Kde je funkce užitečná

Knihovna pro neuronové sítě může tyto skalární součiny použít pro kvantizovaný maticový kernel po sbalení vah a výběru vhodného běhového řešení. Na převodu dat, měřítkách, nulových bodech a přesunech v paměti stále záleží. Rychlejší vnitřní součin sám o sobě nezaručuje celkovou přesnost modelu ani latenci aplikace.

Jak ověřit podporu a aktivaci

Zkontrolujte povolený stav AVX a poté bit 4 v CPUID.07H.01H:EAX pro původní rozšíření AVX-VNNI, a to po ověření podporovaných rozsahů leaf a subleaf. Pro pozdější varianty zkontrolujte samostatné bity. Ověřte, že knihovna vybrala odpovídající VEX cestu, nikoli cestu AVX-512.

Program musí obsahovat vhodnou implementaci a zároveň ji za běhu vybrat. Zjištění hardwarové podpory, stav registrů povolený operačním systémem a základní konfigurace sestavené binárky představují samostatné kontroly. Virtuální počítač může záměrně zpřístupňovat méně funkcí než jeho hostitel a kontejner nepřidává procesoru hostitele žádné nové instrukce.

Co tato funkce nezajišťuje

AVX-VNNI neimplikuje AVX-512, AMX, všechna pozdější rozšíření VNNI ani podporu pro každý celočíselný typ. AVX-VNNI-INT8 a AVX-VNNI-INT16 mají samostatnou enumeraci funkcí a nelze je odvozovat z původního bitu AVX-VNNI.

Kompatibilita a výkon v praxi

Měřte celou pracovní zátěž na reprezentativních datech. Širší vektory mohou snížit počet instrukcí, ale nároky na přenosy paměti, synchronizaci nebo konverze zůstanou nezměněny. Latence instrukcí, propustnost a energetické chování závisejí na přesné mikroarchitektuře a provozních podmínkách.

Praktický kontrolní seznam pro ověření

  1. Zaznamenejte přesný model procesoru nebo platformy a použité verze aplikace, operačního systému a běhového prostředí. Uchovejte přesné znění chybové zprávy nebo požadavku.
  2. Zkontrolujte dokumentaci výrobce pro daný konkrétní model a poté prověřte skutečně dostupnou kapacitu a stav aktivace v prostředí, kde program běží.
  3. Porovnejte veškeré požadavky vybraného binárního souboru nebo backendu. Podobně pojmenovaná funkce, alias nebo obecné technologické označení nestačí.
  4. Ověřte, že aplikace vybrala zamýšlenou implementaci. Pokud nejsou požadavky splněny, použijte její zdokumentovanou diagnostiku a podporované náhradní řešení.
  5. Provádějte vždy jen jednu podporovanou změnu a zopakujte identickou zátěž. Původní konfiguraci a postup obnovy mějte neustále k dispozici.

Pokud je funkce uvedena, ale software ji nemůže použít

Začněte u přesné komponenty, u níž dochází k selhání. Databáze hardwaru popisuje zaznamenané schopnosti; operační systém nebo hypervizor však může vystavit odlišné efektivní prostředí. Chyba neplatné instrukce vyžaduje také prozkoumání skutečné chybující instrukce a sestavení binárního souboru, protože poškození dat nebo nesouvisející nepodporovaná instrukce mohou vyvolat podobný projev.

Nainstalujte verzi aplikace, ovladače nebo běhového prostředí podporovanou pro danou platformu a v případě potřeby použijte výrobcem zdokumentované základní nebo náhradní sestavení. Aktualizace softwaru nemůže vytvořit instrukci, kterou procesor fyzicky postrádá. Změny firmwaru a zásad zabezpečení by se měly řídit postupem výrobce systému a plánem obnovy, nikoli obecným návodem na optimalizaci.

Zdroje a rozsah tohoto vysvětlení

Intel 64 and IA-32 Architectures Software Developer's Manual · Jádro Linuxu: použití funkcí XSTATE v uživatelském prostoru

Tyto referenční dokumenty stanovují architektonické chování a softwarové požadavky. Neověřují nezávisle každou hodnotu funkce na odkazované stránce hardwarového modelu. Informace o podpoře konkrétního modelu čerpejte z podkladů výrobce na příslušné stránce a zkontrolujte platnou konfiguraci systému. Tento článek neposkytuje benchmark, certifikaci ani datum nezávislého přezkumu.

Zdroje a ověření

Redakční vlastnictví: Feex. Není zaznamenáno žádné datum nezávislého přezkoumání. Jak provádíme výzkum.

Byl tento článek užitečný?

Stačí ano nebo ne. Pokud chcete, vyberte důvod nebo přidejte krátkou poznámku.

Byl tento článek užitečný?