Deep Learning Boost

Amit tudni érdemes

Hogyan működik

Az ezzel a címkével ellátott termékek a vektoriális skaláris szorzatok és egyéb gyorsítási funkciók eltérő kombinációit tartalmazhatják. A szoftverkönyvtárak a tényleges kiterjesztések, a numerikus formátumok és az operációs rendszer által engedélyezett állapot alapján választanak kerneleket. A címke tágabb kategóriát fed le, mint egyetlen műveletkód vagy egy hordozható bináris alapszint.

Ahol hasznos

Egy gépi tanulási futtatókörnyezet választhat egy kvantált skaláris szorzat kernelt a támogatott modellműveletekhez. A kiválasztott végrehajtási szolgáltató (execution provider), az adatpontosság, a műveleti lefedettség és a csomagolás határozza meg, hogy az alkalmazás a gyakorlatban ténylegesen használja-e a processzorfunkciót.

A támogatás és az engedélyezés ellenőrzése

Keresse meg a pontos modell gyártói specifikációit, majd mérje fel a futtatókörnyezet által igényelt utasításkiterjesztéseket. Ellenőrizze a kiválasztott kernelre/háttérrendszerre vonatkozó diagnosztikai kimenetet, és győződjön meg arról, hogy a releváns operációsrendszer-szintű vektor- vagy csempeállapot (tile state) engedélyezve van.

A hardver elérhetősége csak az első lépés. Az illesztőprogramnak, a futtatókörnyezetnek, a végrehajtási szolgáltatónak, a támogatott operátoroknak és a numerikus formátumnak illeszkednie kell az alkalmazáshoz. Vizsgálja meg a tényleges háttérrendszer-választást és a tartalék megoldást ahelyett, hogy feltételezné: egy AI-címke azt jelenti, hogy minden modell gyorsított.

Amit a funkció nem biztosít

Pusztán ebből a marketingmegnevezésből ne következtessen az AVX-512 VNNI, az AVX-VNNI, a BF16, az AMX vagy az NPU meglétére. Az egyetlen pontossági formátum mellett elérhető csúcs másodpercenkénti műveletszám (OPS) nem azonosítható a végpontok közötti következtetési sebességgel vagy a modell pontosságával.

Kompatibilitás és teljesítmény a gyakorlatban

Hasonlítsa össze a teljes munkaterheléseket meghatározott feltételek mellett, beleértve a fordítást, az adatátvitelt és a nem támogatott operátorokat. A másodpercenkénti csúcsműveletek száma a pontosságtól és a számlálási feltételezésektől függ. Nem helyettesítik a mért késleltetést, az átviteli sebességet, az energiafogyasztást vagy a modell pontosságát.

Gyakorlati ellenőrzőlista

1. Rögzítse az érintett processzor vagy platform pontos modelljét, valamint az alkalmazás, az operációs rendszer és a futtatókörnyezet verzióját. Őrizze meg a tényleges hiba vagy követelmény pontos szövegezését.
2. Ellenőrizze az adott modellhez tartozó gyártói referenciát, majd vizsgálja meg a tényleges képességet és az engedélyezett állapotot abban a környezetben, ahol a program fut.
3. Vesse össze a kiválasztott bináris vagy háttérrendszer minden követelményét. Egy hasonló elnevezésű funkció, álnév vagy tág technológiai címke nem elegendő.
4. Győződjön meg arról, hogy az alkalmazás a kívánt implementációt választotta ki. Használja annak dokumentált diagnosztikai eszközeit és egy támogatott tartalék megoldást, ha a követelmények nem teljesülnek.
5. Egyszerre csak egy támogatott módosítást hajtson végre, és ismételje meg ugyanazt a munkaterhelést. Tartsa elérhetően az eredeti konfigurációt és a helyreállítási útvonalat.

Ha a funkció szerepel a listán, de a szoftver nem tudja használni

Kezdje a hibát jelző pontos komponenssel. A hardveradatbázis a rögzített képességet írja le; az operációs rendszer vagy a hipervizor ettől eltérő tényleges környezetet tehet elérhetővé. Az érvénytelen utasítás miatti hiba (illegal-instruction) esetén a ténylegesen hibát okozó utasítást és a bináris összeállítást is vizsgálni kell, mivel az adatsérülés vagy egy nem kapcsolódó, nem támogatott utasítás is hasonló tünetet produkálhat.

Telepítse az adott platformhoz támogatott alkalmazás-, illesztőprogram- vagy futtatókörnyezet-verziót, és szükség esetén használja a gyártó által dokumentált alapértelmezett vagy tartalék változatot. Egy szoftverfrissítés nem hozhat létre olyan utasítást, amellyel a processzor nem rendelkezik. A firmware- és biztonságipolitika-módosítások során a rendszer gyártójának eljárását és egy helyreállítási tervet kell követni egy általános optimalizálási recept helyett.

Kapcsolódó funkciók és hasznos különbségtételek

AVX-VNNI · AVX-512 · AMX, Advanced Matrix Extensions · Neurális feldolgozóegység (NPU)

A magyarázat forrásai és hatóköre

Intel: mélytanulás AVX-512 és DL Boost használatával · Intel 64 and IA-32 Architectures Software Developer's Manual

Ezek a hivatkozások az architekturális viselkedést és a szoftverkövetelményeket határozzák meg. Nem ellenőrzik függetlenül a hivatkozott hardvermodell oldalán található összes funkcióértéket. A modell támogatásához használja az adott oldal gyártói bizonyítékait, és ellenőrizze a tényleges rendszerkonfigurációt. Ez a cikk nem tartalmaz teljesítménytesztet, tanúsítást vagy független felülvizsgálati dátumot.

Kapcsolódó

Ezek az entitások kapcsolódnak ehhez a cikkhez. A típus minden hivatkozáson megjelenik.

Források és ellenőrzés

Szerkesztői jogtulajdonos: Feex. Független felülvizsgálati dátum nincs rögzítve. Hogyan kutatunk.

• Intel: mélytanulás AVX-512 és DL Boost használatával · Ismerteti a VNNI-alapú gyorsítást. A pontos utasításkészletet továbbra is külön kell ellenőrizni az adott processzor és futtatókörnyezet alapján.
• Intel 64 and IA-32 Architectures Software Developer's Manual · Az 1. és 2. kötet a megnevezett utasításcsaládokat és a CPUID-t ismerteti; a 3. kötet az állapot-, lapozás-, VMX- és védelmi vezérlőket tárgyalja. Az architektúra-dokumentáció nem igazolja egy adott modell támogatását.