Preskočiť na obsah

Deep Learning Boost

Architektonická referenciaFeex

Intel Deep Learning Boost je technologické označenie pre funkcie procesora využívané vhodnými úlohami AI. Jeho presná inštrukčná sada závisí od procesora a musí sa overovať samostatne.

Čo potrebujete vedieť

Intel Deep Learning Boost je technologické označenie pre funkcie procesora využívané vhodnými úlohami AI. Jeho presná inštrukčná sada závisí od procesora a musí sa overovať samostatne.

Ako to funguje

Produkty popisované týmto označením môžu sprístupňovať rôzne kombinácie vektorového skalárneho súčinu a ďalších akceleračných prostriedkov. Softvérová knižnica vyberá výpočtové jadrá na základe skutočných rozšírení, číselných formátov a stavu povoleného v OS. Toto označenie je širšie než jeden operačný kód alebo prenosný binárny základ.

Kde je to užitočné

Inferenčný run-time môže vybrať kvantizované jadro skalárneho súčinu pre podporovanú operáciu modelu. To, či aplikácia v praxi využije funkciu procesora, určuje zvolený poskytovateľ vykonávania (execution provider), presnosť údajov, pokrytie operátorov a formát uloženia (packing).

Ako overiť podporu a povolenie

Vyhľadajte špecifikácie presného modelu od výrobcu a potom enumerujte inštrukčné rozšírenia požadované run-time prostredím. Skontrolujte jeho diagnostický výstup pre zvolené jadro/backend a overte, že je povolený príslušný vektorový alebo dlaždicový (tile) stav v OS.

Dostupnosť hardvéru je len prvým krokom. Ovládač, runtime, poskytovateľ vykonávania, podporované operátory a číselný formát sa musia zhodovať s aplikáciou. Skontrolujte skutočný výber backendu a záložné riešenie namiesto predpokladu, že označenie AI znamená akceleráciu každého modelu.

Čo táto funkcia nezakladá

Nevyvodzujte AVX-512 VNNI, AVX-VNNI, BF16, AMX ani NPU iba z tohto marketingového poľa. Špičkový počet operácií za sekundu pri jednej presnosti nie je zameniteľný s celkovou rýchlosťou inferencie (end-to-end) ani s presnosťou modelu.

Kompatibilita a výkon v praxi

Porovnávajte kompletné pracovné zaťaženia za definovaných podmienok vrátane kompilácie, prenosov a nepodporovaných operátorov. Špičkový počet operácií za sekundu závisí od presnosti a predpokladov výpočtu. Nie je náhradou za nameranú latenciu, priepustnosť, spotrebu energie ani presnosť modelu.

Praktický kontrolný zoznam na overenie

  1. Zaznamenajte presný model procesora alebo platformy a príslušné verzie aplikácie, operačného systému a runtime prostredia. Zachovajte presné znenie skutočnej chyby alebo požiadavky.
  2. Skontrolujte referenčnú dokumentáciu výrobcu pre daný presný model a potom preverte efektívnu schopnosť a povolený stav v prostredí, kde program beží.
  3. Porovnajte každú požiadavku vybraného binárneho súboru alebo backendu. Podobne pomenovaná funkcia, alias alebo široké technologické označenie nepostačujú.
  4. Uistite sa, že aplikácia vybrala zamýšľanú implementáciu. Ak požiadavky nie sú splnené, použite jej dokumentovanú diagnostiku a podporované náhradné riešenie.
  5. Vykonávajte vždy len jednu podporovanú zmenu a zopakujte rovnaké pracovné zaťaženie. Ponechajte si k dispozícii pôvodnú konfiguráciu a postup obnovy.

Ak je funkcia uvedená, ale softvér ju nemôže použiť

Začnite presne pri zlyhávajúcom komponente. Hardvérová databáza popisuje zaznamenanú schopnosť; operačný systém alebo hypervízor však môže sprístupniť iné efektívne prostredie. Chyba neplatnej inštrukcie si vyžaduje aj preskúmanie skutočnej chybujúcej inštrukcie a zostavenia binárneho súboru, pretože poškodenie alebo nesúvisiaca nepodporovaná inštrukcia môže vyvolať podobný príznak.

Nainštalujte verziu aplikácie, ovládača alebo runtime prostredia podporovanú pre presnú platformu a v prípade potreby použite dodávateľom dokumentované základné alebo záložné zostavenie. Aktualizácia softvéru nedokáže vytvoriť inštrukciu, ktorú procesor nemá. Zmeny firmvéru a bezpečnostných politík by sa mali riadiť postupom výrobcu systému a plánom obnovy, nie generickým návodom na optimalizáciu.

Zdroje a rozsah tohto vysvetlenia

Intel: hlboké učenie s AVX-512 a DL Boost · Intel 64 and IA-32 Architectures Software Developer's Manual

Tieto referencie definujú architektonické správanie a softvérové požiadavky. Neoverujú nezávisle každú hodnotu funkcie na prepojenej stránke hardvérového modelu. Podporu modelu nájdete v podkladoch od výrobcu na danej stránke a skontrolujte efektívnu konfiguráciu systému. Tento článok neposkytuje dátum benchmarku, certifikácie ani nezávislej recenzie.

Zdroje a overenie

Redakčné vlastníctvo: Feex. Nie je zaznamenaný žiadny dátum nezávislej kontroly. Ako robíme výskum.

Bol tento článok užitočný?

Stačí áno alebo nie. Ak chcete, vyberte dôvod, alebo pridajte krátku poznámku.

Bol tento článok užitočný?