Nevral prosesseringsenhet (NPU)

Dette må du vite

Slik fungerer det

Et NPU-kjøretidsmiljø deler opp en modell i støttede operasjoner, velger numeriske representasjoner og planlegger arbeid på den tilgjengelige akseleratoren. Enkelte operatorer kan forbli på CPU eller GPU. Overføringer, synkronisering, kompilering og lasting av modeller er en del av den komplette eksekveringsveien.

Hvor det er nyttig

En applikasjon kan bruke en støttet eksekveringsleverandør til å kjøre en kvalifisert modell på NPU-en. En graf som i det stille faller tilbake til en annen enhet for en kritisk operator, kan oppføre seg svært annerledes enn en som forblir på akseleratoren, selv på samme enhet.

Slik kontrolleres støtte og aktivering

Identifiser den nøyaktige NPU-modellen og generasjonen, støttet OS-driver, versjon av kjøretidsmiljø og eksekveringsleverandør. Kontroller operatorstøtte, minnekrav og tilbakefallsdiagnostikk med den faktiske modellen, ikke bare en oppføring i enhetsbehandling.

Maskinvaretilgjengelighet er bare det første steget. Driveren, kjøretidsmiljøet, utførelsesleverandøren, støttede operatorer og det numeriske formatet må samsvare med applikasjonen. Undersøk faktisk valg av bakside og reservemetode i stedet for å anta at en AI-etikett betyr at enhver modell akselereres.

Hva funksjonen ikke etablerer

Tilstedeværelse av NPU etablerer ikke en bestemt TOPS-verdi, numerisk presisjon, forutsetning om glissenhet (sparsity), støttet modellstørrelse eller OS-sertifisering. TOPS-tall målt under ulike forhold er ikke direkte sammenlignbare ytelsestester for applikasjoner.

Kompatibilitet og ytelse i praksis

Sammenlign fullstendige arbeidsbelastninger under angitte forhold, inkludert kompilering, overføringer og ustøttede operatorer. Toppoperasjoner per sekund avhenger av presisjon og beregningsforutsetninger. De er ikke en erstatning for målt forsinkelse, gjennomstrømning, energi eller modellnøyaktighet.

En praktisk sjekkliste for verifisering

1. Registrer den nøyaktige prosessor- eller plattformmodellen og de involverte applikasjons-, OS- og kjøretidsversjonene. Bevar ordlyden i den faktiske feilen eller kravet.
2. Sjekk produsentreferansen for akkurat den modellen, og undersøk deretter den faktiske kapasiteten og aktiverte tilstanden i miljøet der programmet kjører.
3. Sammenlign ethvert krav til den valgte binærfilen eller baksiden. En lignende navngitt funksjon, et alias eller en bred teknologietikett er ikke tilstrekkelig.
4. Bekreft at applikasjonen valgte den tiltenkte implementeringen. Bruk dens dokumenterte diagnostikk og en støttet reservemetode når kravene ikke er oppfylt.
5. Gjør én støttet endring om gangen og gjenta den samme arbeidsbelastningen. Hold den opprinnelige konfigurasjonen og gjenopprettingsstien tilgjengelig.

Hvis funksjonen er oppført, men programvare ikke kan bruke den

Start med den nøyaktige komponenten som feiler. En maskinwaredatabase beskriver registrert kapasitet; operativsystemet eller hypervisoren kan eksponere et annet reelt miljø. En feil om ulovlig instruksjon krever også undersøkelse av den faktiske feilende instruksjonen og binærbyggingen, fordi korrupsjon eller en urelatert, ustøttet instruksjon kan gi et lignende symptom.

Installer applikasjonen, driveren eller kjøretidsversjonen som støttes for den nøyaktige plattformen, og bruk om nødvendig leverandørens dokumenterte grunnlinje- eller reservebygg. En programvareoppdatering kan ikke opprette en instruksjon som prosessoren mangler fastvare. Endringer i fastvare og sikkerhetspolicy bør følge systemprodusentens prosedyre og en gjenopprettingsplan i stedet for en generisk optimaliseringsoppskrift.

Relaterte funksjoner og nyttige skiller

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Kilder og omfang for denne forklaringen

AMD XDNA-arkitektur · ONNX Runtime-eksekveringsleverandører

Disse referansene etablerer arkitektonisk oppførsel og programvarekrav. De verifiserer ikke uavhengig hver funksjonsverdi på en koblet maskinvaremodells side. For modellstøtte, bruk den sidens produsentdokumentasjon og kontroller den reelle systemkonfigurasjonen. Denne artikkelen oppgir ikke en referansemåling, sertifisering eller dato for uavhengig gjennomgang.

Relatert

Disse enhetene er koblet til denne artikkelen. Type vises på hver kobling.

Kilder og verifisering

Redaksjonelt eierskap: Feex. Ingen uavhengig vurderingsdato er registrert. Hvordan vi gjør undersøkelser.

• AMD XDNA-arkitektur · Flisbasert romlig dataflytarkitektur, lokale minner og AI Engine-komponenter. Generisk arkitekturtekst etablerer ikke en modells flisantall eller TOPS.
• ONNX Runtime-eksekveringsleverandører · Arkitektur for eksekveringsleverandører, grafoppdeling og maskinvarespesifikk integrasjon. Tilstedeværelse av en leverandør beviser ikke at alle operatorer avlastes.