AVX-VNNI
Az AVX-VNNI VEX-kódolású vektoriális skaláris szorzat (dot-product) utasításokat kínál, amelyeket a megfelelő egészértékű következtetési (inference) és jelfeldolgozó kernelek használnak. Ez elkülönül az AVX-512 VNNI-től és az NPU-tól.
Amit tudni érdemes
Az AVX-VNNI VEX-kódolású vektoriális skaláris szorzat (dot-product) utasításokat kínál, amelyeket a megfelelő egészértékű következtetési (inference) és jelfeldolgozó kernelek használnak. Ez elkülönül az AVX-512 VNNI-től és az NPU-tól.
Hogyan működik
Az eredeti AVX-VNNI kiterjesztés bájt- és szóméretű szorzási-akkumulációs műveleteket tartalmaz 128 bites vagy 256 bites vektorokon. Például a VPDPBUSD előjel nélküli bájtokat szoroz össze előjeles bájtokkal, a csoportokat duplaszavakká (doubleword) összegzi, és az eredményt a célregiszterbe akkumulálja. A telítődő (saturating) változatok saját túlcsordulási viselkedéssel rendelkeznek. A kvantálásnak és az előjelességnek illeszkednie kell a kiválasztott művelethez.
Ahol hasznos
Egy neurálisháló-könyvtár használhatja ezeket a skaláris szorzatokat egy kvantált mátrixkernelhez a súlyok becsomagolása és a megfelelő futtatókörnyezeti implementáció kiválasztása után. Az adatkonverzió, a skálák, a nullapontok és a memóriamozgatás továbbra is lényeges tényezők. A gyorsabb belső szorzat nem garantálja a modell végpontok közötti pontosságát vagy az alkalmazás alacsony késleltetését.
A támogatás és az engedélyezés ellenőrzése
Ellenőrizze az engedélyezett AVX-állapotot, majd a CPUID.07H.01H:EAX 4. bitjét az eredeti AVX-VNNI kiterjesztéshez, miután megbizonyosodott a támogatott leaf- és subleaf-tartományokról. A későbbi változatokhoz külön biteket ellenőrizzen. Győződjön meg arról, hogy a könyvtár a hozzá tartozó VEX útvonalat választotta, nem pedig egy AVX-512 útvonalat.
A programnak tartalmaznia kell a megfelelő implementációt, és futásidőben ki is kell választania azt. A hardveres lekérdezés, az operációs rendszer által engedélyezett regiszterállapot és a bináris fordítási alapja különálló ellenőrzéseket jelentenek. Egy virtuális gép szándékosan kevesebb funkciót tehet elérhetővé, mint a gazdagépe, és a konténer nem ad hozzá új utasításokat a gazdagép processzorához.
Amit a funkció nem biztosít
Az AVX-VNNI nem vonja maga után automatikusan az AVX-512, az AMX vagy a későbbi VNNI kiterjesztések meglétét, sem minden egész típus támogatását. Az AVX-VNNI-INT8 és az AVX-VNNI-INT16 külön funkcióenumerációval rendelkezik, és nem szabad rájuk következtetni az eredeti AVX-VNNI bit alapján.
Kompatibilitás és teljesítmény a gyakorlatban
A teljes munkaterhelést reprezentatív adatokkal mérje fel. A szélesebb vektorok csökkenthetik az utasítások számát, miközben a memóriaforgalom, a szinkronizálás vagy az átalakítás költségei változatlanok maradhatnak. Az utasítás-késleltetés, az átviteli sebesség és a fogyasztási viselkedés a pontos mikroarchitektúrától és a működési körülményektől függ.
Gyakorlati ellenőrzőlista
- Rögzítse az érintett processzor vagy platform pontos modelljét, valamint az alkalmazás, az operációs rendszer és a futtatókörnyezet verzióját. Őrizze meg a tényleges hiba vagy követelmény pontos szövegezését.
- Ellenőrizze az adott modellhez tartozó gyártói referenciát, majd vizsgálja meg a tényleges képességet és az engedélyezett állapotot abban a környezetben, ahol a program fut.
- Vesse össze a kiválasztott bináris vagy háttérrendszer minden követelményét. Egy hasonló elnevezésű funkció, álnév vagy tág technológiai címke nem elegendő.
- Győződjön meg arról, hogy az alkalmazás a kívánt implementációt választotta ki. Használja annak dokumentált diagnosztikai eszközeit és egy támogatott tartalék megoldást, ha a követelmények nem teljesülnek.
- Egyszerre csak egy támogatott módosítást hajtson végre, és ismételje meg ugyanazt a munkaterhelést. Tartsa elérhetően az eredeti konfigurációt és a helyreállítási útvonalat.
Ha a funkció szerepel a listán, de a szoftver nem tudja használni
Kezdje a hibát jelző pontos komponenssel. A hardveradatbázis a rögzített képességet írja le; az operációs rendszer vagy a hipervizor ettől eltérő tényleges környezetet tehet elérhetővé. Az érvénytelen utasítás miatti hiba (illegal-instruction) esetén a ténylegesen hibát okozó utasítást és a bináris összeállítást is vizsgálni kell, mivel az adatsérülés vagy egy nem kapcsolódó, nem támogatott utasítás is hasonló tünetet produkálhat.
Telepítse az adott platformhoz támogatott alkalmazás-, illesztőprogram- vagy futtatókörnyezet-verziót, és szükség esetén használja a gyártó által dokumentált alapértelmezett vagy tartalék változatot. Egy szoftverfrissítés nem hozhat létre olyan utasítást, amellyel a processzor nem rendelkezik. A firmware- és biztonságipolitika-módosítások során a rendszer gyártójának eljárását és egy helyreállítási tervet kell követni egy általános optimalizálási recept helyett.
A magyarázat forrásai és hatóköre
Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: XSTATE funkciók használata a felhasználói térben
Ezek a hivatkozások az architekturális viselkedést és a szoftverkövetelményeket határozzák meg. Nem ellenőrzik függetlenül a hivatkozott hardvermodell oldalán található összes funkcióértéket. A modell támogatásához használja az adott oldal gyártói bizonyítékait, és ellenőrizze a tényleges rendszerkonfigurációt. Ez a cikk nem tartalmaz teljesítménytesztet, tanúsítást vagy független felülvizsgálati dátumot.
Források és ellenőrzés
Szerkesztői jogtulajdonos: Feex. Független felülvizsgálati dátum nincs rögzítve. Hogyan kutatunk.
- Intel 64 and IA-32 Architectures Software Developer's Manual · Az 1. és 2. kötet a megnevezett utasításcsaládokat és a CPUID-t ismerteti; a 3. kötet az állapot-, lapozás-, VMX- és védelmi vezérlőket tárgyalja. Az architektúra-dokumentáció nem igazolja egy adott modell támogatását.
- Linux kernel: XSTATE funkciók használata a felhasználói térben · Operációs rendszer által engedélyezett vektorállapot, dinamikusan engedélyezett csempeállapot, jelverem-követelmények és AMX engedélyezési folyamat. A Linux-specifikus viselkedés nem jelent garanciát más operációs rendszerekre.
Hasznos volt ez a cikk?
Egy igen vagy nem is elég. Válasszon egy indokot, ha szeretne, vagy írjon egy rövid megjegyzést.
Köszönjük. Ez segít az oldal fejlesztésében.