Прескачане към съдържанието

Deep Learning Boost

Архитектурна справкаFeex

Intel Deep Learning Boost е технологично търговско наименование за възможности на процесора, използвани от подходящи работни натоварвания за AI. Точният набор от инструкции зависи от процесора и трябва да се проверява отделно.

Какво трябва да знаете

Intel Deep Learning Boost е технологично търговско наименование за възможности на процесора, използвани от подходящи работни натоварвания за AI. Точният набор от инструкции зависи от процесора и трябва да се проверява отделно.

Как работи

Продуктите, описвани с това наименование, могат да предоставят различни комбинации от векторно скаларно произведение и други средства за ускорение. Дадена софтуерна библиотека избира ядра въз основа на действителните разширения, числовите формати и състоянието, разрешено от ОС. Наименованието е по-широко понятие от единичен опкод или преносима двоична базова линия.

Къде е полезно

Среда за изпълнение на невронни изводи може да избере ядро с квантувано скаларно произведение за поддържана операция на модела. Избраният доставчик на изпълнение, прецизността на данните, покритието на операторите и пакетирането определят дали приложението реално използва функцията на процесора на практика.

Как се проверява поддръжката и активирането

Проверете спецификациите на производителя за точния модел, след което избройте разширенията на инструкциите, изисквани от средата за изпълнение. Проверете нейните диагностични данни за избраното ядро/бекенд и се уверете, че съответното векторно или tile състояние в ОС е активирано.

Хардуерната наличност е само първата стъпка. Драйверът, средата за изпълнение, доставчикът на изпълнение (execution provider), поддържаните оператори и числовият формат трябва да съответстват на приложението. Инспектирайте действителния избор на бекенд и резервен вариант, вместо да предполагате, че етикет за изкуствен интелект означава, че всеки модел се ускорява.

Какво не гарантира тази функция

Не подразбирайте AVX-512 VNNI, AVX-VNNI, BF16, AMX или NPU само от това маркетингово поле. Пиковите операции в секунда при една прецизност не са взаимнозаменяеми с цялостната скорост на изводите (inference) или точността на модела.

Съвместимост и производителност на практика

Сравнявайте пълните работни натоварвания при посочените условия, включително компилация, трансфери и неподдържани оператори. Пиковите операции в секунда зависят от предположенията за точност и броене. Те не заместват измерените латентност, пропускателна способност, консумация на енергия или точност на модела.

Практически контролен списък за проверка

  1. Запишете точния модел на процесора или платформата, както и използваните версии на приложението, операционната система и средата за изпълнение. Запазете точния текст на действителната грешка или изискване.
  2. Проверете документацията от производителя за този точен модел, след което инспектирайте действителните възможности и активираното състояние в средата, където работи програмата.
  3. Сравнете всяко изискване на избрания двоичен файл или бекенд. Подобно наименувана функция, псевдоним или общ технологичен етикет не са достатъчни.
  4. Потвърдете, че приложението е избрало планираната реализация. Използвайте неговата документирана диагностика и поддържан резервен вариант, когато изискванията не са изпълнени.
  5. Правете по една поддържана промяна наведнъж и повтаряйте същото работно натоварване. Запазете достъпни оригиналната конфигурация и плана за възстановяване.

Ако функцията е посочена, но софтуерът не може да я използва

Започнете с точния компонент, който дава грешка. Хардуерната база данни описва записаните възможности; операционната система или хипервайзорът могат да предоставят различна ефективна среда. Грешка за невалидна инструкция (illegal-instruction) също изисква разследване на действителната сриваща се инструкция и компилацията на двоичния файл, тъй като повреда или несвързана неподдържана инструкция може да предизвика подобен симптом.

Инсталирайте версията на приложението, драйвера или средата за изпълнение, която се поддържа за точната платформа, и използвайте документираната от производителя базова или резервна компилация, ако е необходимо. Софтуерна актуализация не може да създаде инструкция, която липсва в процесора. Промените във фърмуера и политиките за сигурност трябва да следват процедурата на производителя на системата и план за възстановяване, а не общи съвети за оптимизация.

Източници и обхват на това обяснение

Intel: дълбоко обучение с AVX-512 и DL Boost · Intel 64 and IA-32 Architectures Software Developer's Manual

Тези източници установяват архитектурното поведение и софтуерните изисквания. Те не проверяват независимо всяка стойност на параметър на свързана страница за хардуерен модел. За поддръжка на даден модел използвайте данните от производителя на съответната страница и проверете ефективната системна конфигурация. Тази статия не предоставя бенчмарк, сертификация или дата на независим преглед.

Източници и проверка

Редакционна собственост: Feex. Не е записана дата на независим преглед. Как проучваме.

  • Intel: дълбоко обучение с AVX-512 и DL Boost · Разяснява ускорението, базирано на VNNI. Точният набор от инструкции все пак трябва да бъде проверен спрямо индивидуалния процесор и среда за изпълнение.
  • Intel 64 and IA-32 Architectures Software Developer's Manual · Томове 1 и 2 описват посочените семейства инструкции и CPUID; Том 3 описва състоянието, страницирането, VMX и контролите за защита. Документацията за архитектурата не гарантира поддръжка за конкретен модел.

Беше ли полезна тази статия?

Достатъчно е "да" или "не". Изберете причина, ако желаете, или добавете кратка бележка.

Беше ли полезна тази статия?