AVX-VNNI
AVX-VNNI tillhandahåller VEX-kodade instruktioner för skalärprodukt av vektorer som används av lämpliga heltalsinferens- och signalbehandlingskärnor. Den skiljer sig från AVX-512 VNNI och från en NPU.
Vad du behöver veta
AVX-VNNI tillhandahåller VEX-kodade instruktioner för skalärprodukt av vektorer som används av lämpliga heltalsinferens- och signalbehandlingskärnor. Den skiljer sig från AVX-512 VNNI och från en NPU.
Hur det fungerar
Den ursprungliga AVX-VNNI-utökningen innehåller multiply-accumulate-operationer för byte och ord på 128-bitars eller 256-bitars vektorer. Till exempel multiplicerar VPDPBUSD osignerade byte med signerade byte, summerar grupper till dubbelord och ackumulerar till destinationen. Mättande varianter har sitt eget spillbeteende. Kvantisering och tecken måste matcha den valda operationen.
Där den är användbar
Ett bibliotek för neurala nätverk kan använda dessa skalärprodukter för en kvantiserad matriskärna efter att ha packat vikter och valt en lämplig körtidsimplementering. Datakonvertering, skalor, nollpunkter och minnesförflyttning spelar fortfarande roll. En snabbare inre produkt fastställer inte modellnoggrannhet från ände till ände eller applikationslatens.
Hur man kontrollerar stöd och aktivering
Kontrollera aktiverat AVX-tillstånd och sedan CPUID.07H.01H:EAX bit 4 för den ursprungliga AVX-VNNI-utökningen, efter att ha verifierat de leaf- och subleafintervall som stöds. Kontrollera separata bitar för senare varianter. Bekräfta att biblioteket valde dess matchande VEX-sökväg snarare än en AVX-512-sökväg.
Programmet måste både innehålla en lämplig implementering och välja den vid körning. Hårdvaruidentifiering, OS-aktiverat registertillstånd och binärens kompilerade baslinje är separata kontroller. En virtuell maskin kan medvetet exponera färre funktioner än sin värd, och en container lägger inte till instruktioner till värd-CPU:n.
Vad funktionen inte fastställer
AVX-VNNI medför inte AVX-512, AMX, varje senare VNNI-utökning eller stöd för varje heltalstyp. AVX-VNNI-INT8 och AVX-VNNI-INT16 har separat funktionsenumerering och får inte härledas från den ursprungliga AVX-VNNI-biten.
Kompatibilitet och prestanda i praktiken
Mät hela arbetsbelastningen med representativa data. Bredare vektorer kan minska antalet instruktioner men lämna minnestrafik, synkronisering eller konverteringskostnader oförändrade. Instruktionslatens, genomströmning och strömförbrukning beror på den exakta mikroarkitekturen och driftsförhållandena.
En praktisk checklista för verifiering
- Registrera den exakta processor- eller plattformsmodellen samt de applikations-, OS- och runtime-versioner som berörs. Behåll formuleringen av det faktiska felet eller kravet.
- Kontrollera tillverkarens referens för den exakta modellen och granska sedan den faktiska kapaciteten och det aktiverade tillståndet i miljön där programmet körs.
- Jämför varje krav för den valda binären eller renderingsmotorn. En snarlikt namngiven funktion, ett alias eller en bred teknikbeteckning räcker inte.
- Bekräfta att applikationen har valt den avsedda implementeringen. Använd dess dokumenterade diagnostik och en reservlösning som stöds när kraven inte uppfylls.
- Gör en ändring som stöds i taget och upprepa samma arbetsbelastning. Håll den ursprungliga konfigurationen och återställningsvägen tillgängliga.
Om funktionen är listad men programvaran inte kan använda den
Börja med den exakta komponenten som fallerar. En hårdvarudatabas beskriver registrerad kapacitet; operativsystemet eller hypervisorn kan exponera en annan faktisk miljö. Ett fel om otillåten instruktion kräver också undersökning av den faktiska felande instruktionen och binärbygget, eftersom korruption eller en orelaterad instruktion utan stöd kan ge ett liknande symptom.
Installera den version av applikationen, drivrutinen eller runtime-miljön som stöds för den exakta plattformen, och använd vid behov tillverkarens dokumenterade baslinje eller reservbygge. En programvaruuppdatering kan inte skapa en instruktion som processorn saknar. Ändringar i firmware och säkerhetspolicy bör följa systemtillverkarens procedur och en återställningsplan snarare än ett generiskt optimeringsrecept.
Källor och omfattning för denna förklaring
Intel 64 and IA-32 Architectures Software Developer's Manual · Linux-kärnan: använda XSTATE-funktioner i användarrymden
Dessa referenser fastställer arkitektoniskt beteende och programvarukrav. De verifierar inte oberoende varje funktionsvärde på en länkad hårdvarumodellsida. För modellstöd, använd den sidans tillverkarbelägg och kontrollera den effektiva systemkonfigurationen. Denna artikel tillhandahåller inte ett prestandatest, en certifiering eller ett oberoende granskningsdatum.
Källor och verifiering
Redaktionellt ägarskap: Feex. Inget oberoende granskningsdatum har registrerats. Hur vi efterforskar.
- Intel 64 and IA-32 Architectures Software Developer's Manual · Volym 1 och 2 beskriver de namngivna instruktionsfamiljerna och CPUID; Volym 3 beskriver tillstånd, sidindelning, VMX och skyddskontroller. Arkitekturdokumentation fastställer inte stöd för en specifik modell.
- Linux-kärnan: använda XSTATE-funktioner i användarrymden · OS-aktiverat vektorstatus, dynamiskt aktiverat bricktillstånd, krav på signalstack och AMX-behörighetsflöde. Linux-specifikt beteende är inte ett löfte om ett annat operativsystem.
Var denna artikel användbar?
Ett ja eller nej räcker. Välj en anledning om du vill, eller lägg till en kort anteckning.
Tack. Det hjälper oss att förbättra den här sidan.