AMX, Advanced Matrix Extensions

Mitä sinun tulee tietää

Miten se toimii

AMX käyttää konfiguroituja kaksiulotteisia ruuturekistereitä tavallisten YMM/ZMM-vektoreiden sijaan. Ruutukonfiguraatio kuvaa aktiivisia muotoja, kun taas aritmeettiset laajennukset, kuten AMX-INT8 tai AMX-BF16, määrittelevät tietyt matriisioperaatiot ja numeeriset muodot. Ohjelmisto pakkaa datan ja valitsee kelvolliset muodot luetteloitujen palettirajojen puitteissa.

Missä siitä on hyötyä

Matriisikirjasto voi madaltaa tuetun ytimen ruutulatauksiksi, pistetulo-operaatioiksi ja ruututallennuksiksi. Pakkauskustannukset, matriisin mitat ja välimuistin paikallisuus voivat hallita pieniä tai epäsäännöllisiä työkuormia. Ruutulaitteisto ei tee jokaisesta neuroverkon operaattorista soveltuvaa kiihdytykseen.

Tuen ja käyttöönoton tarkistaminen

Tarkista AMX-TILE ja jokainen vaadittu aritmeettinen laajennus CPUID-lehdestä 7, luetteloi ruutujen rajat ja vahvista käyttöjärjestelmän käyttöönottama tila. Linuxissa dynaamista ruutudataa käyttävien sovellusten on noudatettava dokumentoitua ARCH_REQ_XCOMP_PERM -kulkua; pelkkä tuki ja XCR0-bitit eivät riitä.

Laitteiston saatavuus on vain ensimmäinen vaihe. Ajurin, ajoympäristön, suoritustoimittajan, tuettujen operaattoreiden ja numeerisen muodon on vastattava sovellusta. Tutki todellista taustajärjestelmän valintaa ja varajärjestelmää sen sijaan, että olettaisit tekoälymerkinnän tarkoittavan jokaisen mallin kiihdyttämistä.

Mitä ominaisuus ei takaa

AMX ei tarkoita AVX-512:ta, yleistä NPU:ta tai jokaista AMX-aritmeettista muotoa. Pelkkä suoritinbitti ei määritä prosessin käyttöoikeutta tai riittävää signaalipinon tilaa. Tukemattomat ruutumuodot tai puuttuva käyttöjärjestelmän käyttöoikeus voivat aiheuttaa virheen jopa AMX-yhteensopivalla koneella.

Yhteensopivuus ja suorituskyky käytännössä

Vertaa kokonaisia työkuormia ilmoitetuissa olosuhteissa, mukaan lukien kääntäminen, siirrot ja tukemattomat operaattorit. Huippuoperaatiot sekunnissa riippuvat tarkkuudesta ja laskenta-oletuksista. Ne eivät korvaa mitattua viivettä, suorituskykyä, energiaa tai mallin tarkkuutta.

Käytännön tarkistuslista todentamiseen

1. Kirjaa tarkka suoritin- tai alustamalli sekä kyseessä olevat sovellus-, käyttöjärjestelmä- ja ajonaikaiset versiot. Säilytä todellisen virheen tai vaatimuksen sanamuoto.
2. Tarkista kyseisen tarkan mallin valmistajaviite ja tutki sitten todellinen suorituskyky ja käyttöönottotila ympäristössä, jossa ohjelma suoritetaan.
3. Vertaa valitun binaarin tai taustajärjestelmän jokaista vaatimusta. Samankaltaisesti nimetty ominaisuus, alias tai laaja teknologiamerkintä ei riitä.
4. Varmista, että sovellus valitsi aiotun toteutuksen. Käytä sen dokumentoitua diagnostiikkaa ja tuettua vararatkaisua, kun vaatimukset eivät täyty.
5. Tee yksi tuettu muutos kerrallaan ja toista sama työkuorma. Pidä alkuperäinen kokoonpano ja palautuspolku saatavilla.

Jos ominaisuus on luettelossa, mutta ohjelmisto ei voi käyttää sitä

Aloita tarkasta vikaantuvasta komponentista. Laitteistotietokanta kuvaa tallennettua kykyä; käyttöjärjestelmä tai hypervisori voi tuoda esiin erilaisen todellisen ympäristön. Virheellisen käskyn virhe vaatii myös todellisen virheellisen käskyn ja binaarikäännöksen tutkimista, koska korruptio tai liittymätön tukematon käsky voi aiheuttaa samanlaisen oireen.

Asenna kyseiselle alustalle tuettu sovellus-, ajuri- tai ajoympäristöversio ja käytä tarvittaessa toimittajan dokumentoitua perus- tai varakäännöstä. Ohjelmistopäivitys ei voi luoda käskyä, joka suorittimelta puuttuu. Laiteohjelmisto- ja tietoturvakäytäntömuutosten tulee noudattaa järjestelmävalmistajan menettelyä ja palautussuunnitelmaa yleisen optimointiohjeen sijaan.

Liittyvät ominaisuudet ja hyödylliset erot

AVX-VNNI · Deep Learning Boost · Neuroverkkoprosessori (NPU) · XSAVE

Tämän selityksen lähteet ja laajuus

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux-ydin: XSTATE-ominaisuuksien käyttäminen käyttäjätilassa

Nämä viitteet määrittävät arkkitehtuurisen käyttäytymisen ja ohjelmistovaatimukset. Ne eivät itsenäisesti vahvista kaikkia ominaisuusarvoja linkitetyllä laitteistomallisivulla. Mallikohtaista tukea varten käytä kyseisen sivun valmistajan todisteita ja tarkista todellinen järjestelmäkokoonpano. Tämä artikkeli ei tarjoa suorituskykytestiä, sertifiointia tai riippumatonta arviointipäivämäärää.

Liittyvät

Nämä kohteet liittyvät tähän artikkeliin. Tyyppi näytetään jokaisessa linkissä.

Lähteet ja vahvistus

Toimituksellinen omistajuus: Feex. Riippumatonta tarkistuspäivämäärää ei ole kirjattu. Miten tutkimme.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Osat 1 ja 2 kuvaavat nimetyt käskyperheet ja CPUID:n; Osa 3 kuvaa tila-, sivutus-, VMX- ja suojausohjaukset. Arkkitehtuuridokumentaatio ei vahvista tukea tietylle mallille.
• Linux-ydin: XSTATE-ominaisuuksien käyttäminen käyttäjätilassa · Käyttöjärjestelmän käyttöönottama vektoritila, dynaamisesti käyttöön otettu ruututila, signaalipinovaatimukset ja AMX-käyttöoikeuskulku. Linux-kohtainen käyttäytyminen ei ole lupaus toisesta käyttöjärjestelmästä.