AVX-VNNI

Архітектурний довідникFeex

AVX-VNNI надає VEX-кодовані інструкції векторного скалярного добутку, які використовуються відповідними ядрами цілочисельного виведення (inference) та обробки сигналів. Вона відрізняється від AVX-512 VNNI та від NPU.

Що потрібно знати

Як це працює

Оригінальне розширення AVX-VNNI містить операції множення з накопиченням для байтів і слів над 128-бітними або 256-бітними векторами. Наприклад, VPDPBUSD множить беззнакові байти на знакові, підсумовує групи в подвійні слова та накопичує результат у місці призначення. Варіанти з насиченням мають власну поведінку переповнення. Квантування та знаковість повинні відповідати вибраній операції.

Де це корисно

Бібліотека нейронних мереж може використовувати ці скалярні добутки для ядра квантованої матриці після пакування ваг і вибору відповідної реалізації під час виконання. Перетворення даних, масштаби, нульові точки та переміщення пам'яті все ще мають значення. Швидший внутрішній добуток не гарантує наскрізну точність моделі або затримку застосунку.

Як перевірити підтримку та активацію

Перевірте ввімкнений стан AVX, потім біт 4 CPUID.07H.01H:EAX для оригінального розширення AVX-VNNI, попередньо перевіривши підтримувані діапазони leaf і subleaf. Перевірте окремі біти для пізніших варіантів. Переконайтеся, що бібліотека вибрала відповідний шлях VEX замість шляху AVX-512.

Програма повинна як містити відповідну реалізацію, так і вибирати її під час виконання. Апаратне перерахування, активований ОС стан регістрів і скомпільований базовий рівень двійкового файлу це окремі перевірки. Віртуальна машина може навмисно надавати менше функцій, ніж її хост, а контейнер не додає інструкцій до центрального процесора хоста.

Чого ця функція не гарантує

AVX-VNNI не означає наявність AVX-512, AMX, кожного пізнішого розширення VNNI або підтримку кожного цілочисельного типу. AVX-VNNI-INT8 та AVX-VNNI-INT16 мають окреме перерахування функцій і не повинні виводитися з оригінального біта AVX-VNNI.

Сумісність і продуктивність на практиці

Вимірюйте повне робоче навантаження з репрезентативними даними. Ширші вектори можуть зменшити кількість інструкцій, залишаючи трафік пам'яті, синхронізацію або витрати на перетворення незмінними. Затримка інструкцій, пропускна здатність і поведінка енергоспоживання залежать від точної мікроархітектури та умов експлуатації.

Практичний контрольний список для верифікації

Зафіксуйте точну модель процесора або платформи, а також версії використовуваної програми, ОС і середовища виконання. Збережіть точне формулювання фактичної помилки або вимоги.
Звіртеся з документацією виробника для цієї точної моделі, потім перевірте фактичні можливості та стан активації в середовищі, де виконується програма.
Порівняйте кожну вимогу вибраного двійкового файлу або бекенда. Схожої назви функції, псевдоніма чи загального позначення технології недостатньо.
Переконайтеся, що програма вибрала призначену реалізацію. Використовуйте її задокументовані засоби діагностики та підтримуваний резервний варіант, якщо вимоги не виконуються.
Вносьте по одній підтримуваній зміні за раз і повторюйте те саме робоче навантаження. Зберігайте оригінальну конфігурацію та можливість відновлення.

Якщо функція вказана, але програмне забезпечення не може її використати

Почніть із компонента, у якому саме стався збій. База даних обладнання описує зафіксовані можливості; операційна система або гіпервізор можуть надавати інше фактичне середовище. Помилка неприпустимої інструкції також потребує дослідження фактичної інструкції, що викликала збій, і двійкової збірки, оскільки пошкодження даних або непов'язана непідтримувана інструкція можуть викликати схожий симптом.

Встановіть версію програми, драйвера або середовища виконання, яка підтримується для цієї конкретної платформи, і за потреби використовуйте задокументовану постачальником базову або резервну збірку. Оновлення програмного забезпечення не може створити інструкцію, якої немає в процесорі. Зміни у прошивці та політиках безпеки повинні відповідати процедурі виробника системи та плану відновлення, а не загальним рецептам оптимізації.

Джерела та межі застосування цього пояснення

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux kernel: using XSTATE features in user space

Ці довідкові матеріали визначають архітектурну поведінку та вимоги до програмного забезпечення. Вони не перевіряють незалежно кожне значення функції на сторінці пов'язаної моделі обладнання. Щодо підтримки моделі використовуйте дані виробника на цій сторінці та перевіряйте фактичну конфігурацію системи. Ця стаття не містить бенчмарків, сертифікації чи дат незалежного огляду.

Джерела та верифікація

Власник авторських прав: Feex. Дата незалежної перевірки не зафіксована. Як ми проводимо дослідження.

Intel 64 and IA-32 Architectures Software Developer's Manual · Томи 1 і 2 описують зазначені сімейства інструкцій і CPUID; Том 3 описує стан, сторінкову організацію пам'яті, VMX і засоби захисту. Документація з архітектури не підтверджує підтримку для конкретної моделі.
Linux kernel: using XSTATE features in user space · Векторний стан, увімкнений ОС, динамічно ввімкнений стан тайлів, вимоги до стека сигналів і процес отримання дозволів AMX. Специфічна поведінка Linux не є гарантією для іншої ОС.

Чи була ця стаття корисною?

Достатньо відповісти "так" або "ні". За бажанням виберіть причину або додайте коротку примітку.