Neuroverkkoprosessori (NPU)

Mitä sinun tulee tietää

Miten se toimii

NPU-ajonaikainen ympäristö osioi mallin tuettuihin operaatioihin, valitsee numeroesitykset ja ajoittaa työn käytettävissä olevalle kiihdyttimelle. Jotkin operaatiot saattavat jäädä suorittimelle tai näytönohjaimelle. Siirrot, synkronointi, kääntäminen ja mallin lataaminen ovat osa koko suorituspolkua.

Missä siitä on hyötyä

Sovellus voi käyttää tuettua suoritustoimittajaa (execution provider) suorittaakseen soveltuvan mallin NPU:lla. Verkkokaavio, joka siirtyy hiljaisesti korvaavaan suoritukseen kriittisen operaattorin kohdalla, voi käyttäytyä hyvin eri tavalla kuin sellainen, joka pysyy kiihdyttimellä, jopa samalla laitteella.

Tuen ja käyttöönoton tarkistaminen

Tunnista tarkka NPU-malli ja -sukupolvi, tuettu käyttöjärjestelmäohjain, ajonaikaisen ympäristön versio ja suoritustoimittaja. Tarkista operaattorituki, muistivaatimukset ja korvaavan suorituksen diagnostiikka todellisella mallilla, ei vain laitehallinnan merkinnästä.

Laitteiston saatavuus on vain ensimmäinen vaihe. Ajurin, ajoympäristön, suoritustoimittajan, tuettujen operaattoreiden ja numeerisen muodon on vastattava sovellusta. Tutki todellista taustajärjestelmän valintaa ja varajärjestelmää sen sijaan, että olettaisit tekoälymerkinnän tarkoittavan jokaisen mallin kiihdyttämistä.

Mitä ominaisuus ei takaa

NPU:n läsnäolo ei takaa tiettyä TOPS-arvoa, numeerista tarkkuutta, harvuusoletusta, tuettua mallikokoa tai käyttöjärjestelmäsertifiointia. Eri olosuhteissa mitatut TOPS-lukemat eivät ole suoraan vertailukelpoisia sovellustestejä.

Yhteensopivuus ja suorituskyky käytännössä

Vertaa kokonaisia työkuormia ilmoitetuissa olosuhteissa, mukaan lukien kääntäminen, siirrot ja tukemattomat operaattorit. Huippuoperaatiot sekunnissa riippuvat tarkkuudesta ja laskenta-oletuksista. Ne eivät korvaa mitattua viivettä, suorituskykyä, energiaa tai mallin tarkkuutta.

Käytännön tarkistuslista todentamiseen

1. Kirjaa tarkka suoritin- tai alustamalli sekä kyseessä olevat sovellus-, käyttöjärjestelmä- ja ajonaikaiset versiot. Säilytä todellisen virheen tai vaatimuksen sanamuoto.
2. Tarkista kyseisen tarkan mallin valmistajaviite ja tutki sitten todellinen suorituskyky ja käyttöönottotila ympäristössä, jossa ohjelma suoritetaan.
3. Vertaa valitun binaarin tai taustajärjestelmän jokaista vaatimusta. Samankaltaisesti nimetty ominaisuus, alias tai laaja teknologiamerkintä ei riitä.
4. Varmista, että sovellus valitsi aiotun toteutuksen. Käytä sen dokumentoitua diagnostiikkaa ja tuettua vararatkaisua, kun vaatimukset eivät täyty.
5. Tee yksi tuettu muutos kerrallaan ja toista sama työkuorma. Pidä alkuperäinen kokoonpano ja palautuspolku saatavilla.

Jos ominaisuus on luettelossa, mutta ohjelmisto ei voi käyttää sitä

Aloita tarkasta vikaantuvasta komponentista. Laitteistotietokanta kuvaa tallennettua kykyä; käyttöjärjestelmä tai hypervisori voi tuoda esiin erilaisen todellisen ympäristön. Virheellisen käskyn virhe vaatii myös todellisen virheellisen käskyn ja binaarikäännöksen tutkimista, koska korruptio tai liittymätön tukematon käsky voi aiheuttaa samanlaisen oireen.

Asenna kyseiselle alustalle tuettu sovellus-, ajuri- tai ajoympäristöversio ja käytä tarvittaessa toimittajan dokumentoitua perus- tai varakäännöstä. Ohjelmistopäivitys ei voi luoda käskyä, joka suorittimelta puuttuu. Laiteohjelmisto- ja tietoturvakäytäntömuutosten tulee noudattaa järjestelmävalmistajan menettelyä ja palautussuunnitelmaa yleisen optimointiohjeen sijaan.

Liittyvät ominaisuudet ja hyödylliset erot

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Tämän selityksen lähteet ja laajuus

AMD XDNA -arkkitehtuuri · ONNX Runtime -suoritustoimittajat

Nämä viitteet määrittävät arkkitehtuurisen käyttäytymisen ja ohjelmistovaatimukset. Ne eivät itsenäisesti vahvista kaikkia ominaisuusarvoja linkitetyllä laitteistomallisivulla. Mallikohtaista tukea varten käytä kyseisen sivun valmistajan todisteita ja tarkista todellinen järjestelmäkokoonpano. Tämä artikkeli ei tarjoa suorituskykytestiä, sertifiointia tai riippumatonta arviointipäivämäärää.

Liittyvät

Nämä kohteet liittyvät tähän artikkeliin. Tyyppi näytetään jokaisessa linkissä.

Lähteet ja vahvistus

Toimituksellinen omistajuus: Feex. Riippumatonta tarkistuspäivämäärää ei ole kirjattu. Miten tutkimme.

• AMD XDNA -arkkitehtuuri · Lohkopohjainen spatiaalinen datavirtamuotoinen arkkitehtuuri, paikalliset muistit ja AI Engine -komponentit. Yleinen arkkitehtuurikuvaus ei määritä mallin lohkomäärää tai TOPS-arvoa.
• ONNX Runtime -suoritustoimittajat · Suoritustoimittajan arkkitehtuuri, kaavion osiointi ja laitteistokohtainen integrointi. Toimittajan läsnäolo ei todista, että jokainen operaattori suoritetaan erillisellä kiihdyttimellä.