Deep Learning Boost

Mitä sinun tulee tietää

Miten se toimii

Tällä nimityksellä kuvatut tuotteet voivat tarjota erilaisia vektoripistetulon ja muiden kiihdytystoimintojen yhdistelmiä. Ohjelmistokirjasto valitsee ytimet todellisten laajennusten, numeeristen muotojen ja käyttöjärjestelmässä käyttöön otetun tilan perusteella. Nimitys on laajempi kuin yksittäinen käskykoodi tai siirrettävä binaarinen perustaso.

Missä siitä on hyötyä

Päättely-ympäristö voi valita kvantisoidun pistetuloytimen tuetulle mallioperaatiolle. Valittu suorituksen tarjoaja (execution provider), datan tarkkuus, operaattorikattavuus ja pakkaus määräävät, käyttääkö sovellus prosessorin ominaisuutta käytännössä.

Tuen ja käyttöönoton tarkistaminen

Tarkista tarkan mallin valmistajan tekniset tiedot ja luetteloi sitten suoritusympäristön vaatimat käskykantalaajennukset. Tarkista sen diagnostiikkatuloste valitun ytimen/taustajärjestelmän osalta ja varmista, että asianmukainen käyttöjärjestelmän vektori- tai laattatila on otettu käyttöön.

Laitteiston saatavuus on vain ensimmäinen vaihe. Ajurin, ajoympäristön, suoritustoimittajan, tuettujen operaattoreiden ja numeerisen muodon on vastattava sovellusta. Tutki todellista taustajärjestelmän valintaa ja varajärjestelmää sen sijaan, että olettaisit tekoälymerkinnän tarkoittavan jokaisen mallin kiihdyttämistä.

Mitä ominaisuus ei takaa

Älä päättele AVX-512 VNNI-, AVX-VNNI-, BF16-, AMX- tai NPU-tukea pelkästään tästä markkinointikentästä. Suurimmat mahdolliset operaatiot sekunnissa tietyllä tarkkuudella eivät ole sama asia kuin päättelyn kokonaisnopeus tai mallin tarkkuus.

Yhteensopivuus ja suorituskyky käytännössä

Vertaa kokonaisia työkuormia ilmoitetuissa olosuhteissa, mukaan lukien kääntäminen, siirrot ja tukemattomat operaattorit. Huippuoperaatiot sekunnissa riippuvat tarkkuudesta ja laskenta-oletuksista. Ne eivät korvaa mitattua viivettä, suorituskykyä, energiaa tai mallin tarkkuutta.

Käytännön tarkistuslista todentamiseen

1. Kirjaa tarkka suoritin- tai alustamalli sekä kyseessä olevat sovellus-, käyttöjärjestelmä- ja ajonaikaiset versiot. Säilytä todellisen virheen tai vaatimuksen sanamuoto.
2. Tarkista kyseisen tarkan mallin valmistajaviite ja tutki sitten todellinen suorituskyky ja käyttöönottotila ympäristössä, jossa ohjelma suoritetaan.
3. Vertaa valitun binaarin tai taustajärjestelmän jokaista vaatimusta. Samankaltaisesti nimetty ominaisuus, alias tai laaja teknologiamerkintä ei riitä.
4. Varmista, että sovellus valitsi aiotun toteutuksen. Käytä sen dokumentoitua diagnostiikkaa ja tuettua vararatkaisua, kun vaatimukset eivät täyty.
5. Tee yksi tuettu muutos kerrallaan ja toista sama työkuorma. Pidä alkuperäinen kokoonpano ja palautuspolku saatavilla.

Jos ominaisuus on luettelossa, mutta ohjelmisto ei voi käyttää sitä

Aloita tarkasta vikaantuvasta komponentista. Laitteistotietokanta kuvaa tallennettua kykyä; käyttöjärjestelmä tai hypervisori voi tuoda esiin erilaisen todellisen ympäristön. Virheellisen käskyn virhe vaatii myös todellisen virheellisen käskyn ja binaarikäännöksen tutkimista, koska korruptio tai liittymätön tukematon käsky voi aiheuttaa samanlaisen oireen.

Asenna kyseiselle alustalle tuettu sovellus-, ajuri- tai ajoympäristöversio ja käytä tarvittaessa toimittajan dokumentoitua perus- tai varakäännöstä. Ohjelmistopäivitys ei voi luoda käskyä, joka suorittimelta puuttuu. Laiteohjelmisto- ja tietoturvakäytäntömuutosten tulee noudattaa järjestelmävalmistajan menettelyä ja palautussuunnitelmaa yleisen optimointiohjeen sijaan.

Liittyvät ominaisuudet ja hyödylliset erot

AVX-VNNI · AVX-512 · AMX, Advanced Matrix Extensions · Neuroverkkoprosessori (NPU)

Tämän selityksen lähteet ja laajuus

Intel: syväoppiminen AVX-512- ja DL Boost -teknologioilla · Intel 64 and IA-32 Architectures Software Developer's Manual

Nämä viitteet määrittävät arkkitehtuurisen käyttäytymisen ja ohjelmistovaatimukset. Ne eivät itsenäisesti vahvista kaikkia ominaisuusarvoja linkitetyllä laitteistomallisivulla. Mallikohtaista tukea varten käytä kyseisen sivun valmistajan todisteita ja tarkista todellinen järjestelmäkokoonpano. Tämä artikkeli ei tarjoa suorituskykytestiä, sertifiointia tai riippumatonta arviointipäivämäärää.

Liittyvät

Nämä kohteet liittyvät tähän artikkeliin. Tyyppi näytetään jokaisessa linkissä.

Lähteet ja vahvistus

Toimituksellinen omistajuus: Feex. Riippumatonta tarkistuspäivämäärää ei ole kirjattu. Miten tutkimme.

• Intel: syväoppiminen AVX-512- ja DL Boost -teknologioilla · Selittää VNNI-pohjaisen kiihdytyksen. Tarkka käskykanta on silti tarkistettava yksittäisen suorittimen ja suoritusympäristön mukaan.
• Intel 64 and IA-32 Architectures Software Developer's Manual · Osat 1 ja 2 kuvaavat nimetyt käskyperheet ja CPUID:n; Osa 3 kuvaa tila-, sivutus-, VMX- ja suojausohjaukset. Arkkitehtuuridokumentaatio ei vahvista tukea tietylle mallille.