AVX-VNNI
AVX-VNNI предоставя VEX-кодирани инструкции за векторно скаларно произведение, използвани от подходящи ядра за целочислени изводи (inference) и обработка на сигнали. То е различно от AVX-512 VNNI и от NPU.
Какво трябва да знаете
AVX-VNNI предоставя VEX-кодирани инструкции за векторно скаларно произведение, използвани от подходящи ядра за целочислени изводи (inference) и обработка на сигнали. То е различно от AVX-512 VNNI и от NPU.
Как работи
Оригиналното разширение AVX-VNNI включва операции за умножение с натрупване на байтове и думи върху 128-битови или 256-битови вектори. Например VPDPBUSD умножава байтове без знак по байтове със знак, сумира групите в двойни думи и ги натрупва в дестинацията. Вариантите с насищане имат собствено поведение при препълване. Квантуването и знакът трябва да съответстват на избраната операция.
Къде е полезно
Библиотека за невронни мрежи може да използва тези скаларни произведения за ядро с квантувани матрици след пакетиране на теглата и избор на подходяща среда за изпълнение. Преобразуването на данни, мащабите, нулевите точки и преместването на паметта все още имат значение. По-бързото вътрешно произведение не гарантира цялостна точност на модела или латентност на приложението.
Как се проверява поддръжката и активирането
Проверете активираното AVX състояние, след това бит 4 на CPUID.07H.01H:EAX за оригиналното разширение AVX-VNNI, след като проверите поддържаните диапазони от leaf и subleaf. Проверете отделни битове за по-късните варианти. Потвърдете, че библиотеката е избрала съответстващия VEX път, а не AVX-512 път.
Програмата трябва както да съдържа подходяща реализация, така и да я избира по време на изпълнение. Изброяването на хардуера, активираното от ОС състояние на регистрите и компилираната базова версия на двоичния файл са отделни проверки. Виртуалната машина може умишлено да предоставя по-малко функции от своя хост, а контейнерът не добавя инструкции към процесора на хоста.
Какво не гарантира тази функция
AVX-VNNI не предполага непременно наличие на AVX-512, AMX, всяко по-късно разширение VNNI или поддръжка за всеки целочислен тип. AVX-VNNI-INT8 и AVX-VNNI-INT16 имат отделно изброяване на характеристиките и не трябва да се подразбират от оригиналния бит за AVX-VNNI.
Съвместимост и производителност на практика
Измервайте пълното работно натоварване с представителни данни. По-широките вектори могат да намалят броя на инструкциите, като оставят непроменени трафика към паметта, синхронизацията или разходите за преобразуване. Латентността на инструкциите, пропускателната способност и енергийното поведение зависят от точната микроархитектура и условията на работа.
Практически контролен списък за проверка
- Запишете точния модел на процесора или платформата, както и използваните версии на приложението, операционната система и средата за изпълнение. Запазете точния текст на действителната грешка или изискване.
- Проверете документацията от производителя за този точен модел, след което инспектирайте действителните възможности и активираното състояние в средата, където работи програмата.
- Сравнете всяко изискване на избрания двоичен файл или бекенд. Подобно наименувана функция, псевдоним или общ технологичен етикет не са достатъчни.
- Потвърдете, че приложението е избрало планираната реализация. Използвайте неговата документирана диагностика и поддържан резервен вариант, когато изискванията не са изпълнени.
- Правете по една поддържана промяна наведнъж и повтаряйте същото работно натоварване. Запазете достъпни оригиналната конфигурация и плана за възстановяване.
Ако функцията е посочена, но софтуерът не може да я използва
Започнете с точния компонент, който дава грешка. Хардуерната база данни описва записаните възможности; операционната система или хипервайзорът могат да предоставят различна ефективна среда. Грешка за невалидна инструкция (illegal-instruction) също изисква разследване на действителната сриваща се инструкция и компилацията на двоичния файл, тъй като повреда или несвързана неподдържана инструкция може да предизвика подобен симптом.
Инсталирайте версията на приложението, драйвера или средата за изпълнение, която се поддържа за точната платформа, и използвайте документираната от производителя базова или резервна компилация, ако е необходимо. Софтуерна актуализация не може да създаде инструкция, която липсва в процесора. Промените във фърмуера и политиките за сигурност трябва да следват процедурата на производителя на системата и план за възстановяване, а не общи съвети за оптимизация.
Източници и обхват на това обяснение
Intel 64 and IA-32 Architectures Software Developer's Manual · Linux ядро: използване на XSTATE функции в потребителското пространство
Тези източници установяват архитектурното поведение и софтуерните изисквания. Те не проверяват независимо всяка стойност на параметър на свързана страница за хардуерен модел. За поддръжка на даден модел използвайте данните от производителя на съответната страница и проверете ефективната системна конфигурация. Тази статия не предоставя бенчмарк, сертификация или дата на независим преглед.
Източници и проверка
Редакционна собственост: Feex. Не е записана дата на независим преглед. Как проучваме.
- Intel 64 and IA-32 Architectures Software Developer's Manual · Томове 1 и 2 описват посочените семейства инструкции и CPUID; Том 3 описва състоянието, страницирането, VMX и контролите за защита. Документацията за архитектурата не гарантира поддръжка за конкретен модел.
- Linux ядро: използване на XSTATE функции в потребителското пространство · Активирано от ОС векторно състояние, динамично активирано състояние на блокове, изисквания към сигналния стек и процес за разрешение на AMX. Специфичното за Linux поведение не представлява обещание за друга операционна система.
Беше ли полезна тази статия?
Достатъчно е "да" или "не". Изберете причина, ако желаете, или добавете кратка бележка.
Благодарим ви. Това ни помага да подобрим тази страница.