AVX-VNNI

Dette må du vite

Slik fungerer det

Den opprinnelige AVX-VNNI-utvidelsen inkluderer byte- og ord-multipliser-akkumuler-operasjoner på 128-bits eller 256-bits vektorer. For eksempel multipliserer VPDPBUSD usignerte byte med signerte byte, summerer grupper til dobbeltord og akkumulerer inn i destinasjonen. Mettende varianter har sin egen overflytsatferd. Kvantisering og fortegn må samsvare med den valgte operasjonen.

Hvor det er nyttig

Et nevralt nettverksbibliotek kan bruke disse prikkproduktene for en kvantisert matrisekjerne etter å ha pakket vekter og valgt en passende kjøretidsimplementasjon. Datakonvertering, skalaer, nullpunkter og minnebevegelser har fortsatt betydning. Et raskere indreprodukt fastslår ikke modellnøyaktighet eller applikasjonsforsinkelse fra ende til ende.

Slik kontrolleres støtte og aktivering

Kontroller aktivert AVX-tilstand, deretter CPUID.07H.01H:EAX bit 4 for den opprinnelige AVX-VNNI-utvidelsen, etter å ha verifisert de støttede blad- og underbladområdene. Kontroller separate biter for senere varianter. Bekreft at biblioteket valgte den samsvarende VEX-banen i stedet for en AVX-512-bane.

Programmet må både inneholde en passende implementering og velge den ved kjøretid. Maskinvareenumerering, OS-aktivert registertilstand og binærfilens kompilerte grunnlinje er separate kontroller. En virtuell maskin kan bevisst eksponere færre funksjoner enn verten, og en container legger ikke instruksjoner til vertens CPU.

Hva funksjonen ikke etablerer

AVX-VNNI innebærer ikke AVX-512, AMX, alle senere VNNI-utvidelser eller støtte for enhver heltalstype. AVX-VNNI-INT8 og AVX-VNNI-INT16 har separat funksjonsnummerering og må ikke utledes fra den opprinnelige AVX-VNNI-biten.

Kompatibilitet og ytelse i praksis

Mål hele arbeidsbelastningen med representative data. Bredere vektorer kan redusere instruksjonsantallet samtidig som minnetrafikk, synkronisering eller konverteringskostnader forblir uendret. Instruksjonsforsinkelse, gjennomstrømning og strømadferd avhenger av den nøyaktige mikroarkitekturen og driftsforholdene.

En praktisk sjekkliste for verifisering

1. Registrer den nøyaktige prosessor- eller plattformmodellen og de involverte applikasjons-, OS- og kjøretidsversjonene. Bevar ordlyden i den faktiske feilen eller kravet.
2. Sjekk produsentreferansen for akkurat den modellen, og undersøk deretter den faktiske kapasiteten og aktiverte tilstanden i miljøet der programmet kjører.
3. Sammenlign ethvert krav til den valgte binærfilen eller baksiden. En lignende navngitt funksjon, et alias eller en bred teknologietikett er ikke tilstrekkelig.
4. Bekreft at applikasjonen valgte den tiltenkte implementeringen. Bruk dens dokumenterte diagnostikk og en støttet reservemetode når kravene ikke er oppfylt.
5. Gjør én støttet endring om gangen og gjenta den samme arbeidsbelastningen. Hold den opprinnelige konfigurasjonen og gjenopprettingsstien tilgjengelig.

Hvis funksjonen er oppført, men programvare ikke kan bruke den

Start med den nøyaktige komponenten som feiler. En maskinwaredatabase beskriver registrert kapasitet; operativsystemet eller hypervisoren kan eksponere et annet reelt miljø. En feil om ulovlig instruksjon krever også undersøkelse av den faktiske feilende instruksjonen og binærbyggingen, fordi korrupsjon eller en urelatert, ustøttet instruksjon kan gi et lignende symptom.

Installer applikasjonen, driveren eller kjøretidsversjonen som støttes for den nøyaktige plattformen, og bruk om nødvendig leverandørens dokumenterte grunnlinje- eller reservebygg. En programvareoppdatering kan ikke opprette en instruksjon som prosessoren mangler fastvare. Endringer i fastvare og sikkerhetspolicy bør følge systemprodusentens prosedyre og en gjenopprettingsplan i stedet for en generisk optimaliseringsoppskrift.

Relaterte funksjoner og nyttige skiller

AVX2 · Deep Learning Boost · AMX, Advanced Matrix Extensions · Nevral prosesseringsenhet (NPU)

Kilder og omfang for denne forklaringen

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux-kjerne: bruk av XSTATE-funksjoner i brukerrom

Disse referansene etablerer arkitektonisk oppførsel og programvarekrav. De verifiserer ikke uavhengig hver funksjonsverdi på en koblet maskinvaremodells side. For modellstøtte, bruk den sidens produsentdokumentasjon og kontroller den reelle systemkonfigurasjonen. Denne artikkelen oppgir ikke en referansemåling, sertifisering eller dato for uavhengig gjennomgang.

Relatert

Disse enhetene er koblet til denne artikkelen. Type vises på hver kobling.

Kilder og verifisering

Redaksjonelt eierskap: Feex. Ingen uavhengig vurderingsdato er registrert. Hvordan vi gjør undersøkelser.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Bind 1 og 2 beskriver de navngitte instruksjonsfamiliene og CPUID; bind 3 beskriver tilstands-, sidevekslings-, VMX- og beskyttelseskontroller. Arkitekturdokumentasjon etablerer ikke støtte for en bestemt modell.
• Linux-kjerne: bruk av XSTATE-funksjoner i brukerrom · OS-aktivert vektortilstand, dynamisk aktivert flisetilstand, signalstakk-krav og AMX-tillatelsesflyt. Linux-spesifikk oppførsel er ikke et løfte om et annet operativsystem.