Перейти к содержимому

AVX-VNNI

Справочник по архитектуреFeex

AVX-VNNI предоставляет VEX-кодированные инструкции векторного скалярного произведения, используемые подходящими целочисленными ядрами инференса и обработки сигналов. Она отличается от AVX-512 VNNI и от NPU.

Что необходимо знать

AVX-VNNI предоставляет VEX-кодированные инструкции векторного скалярного произведения, используемые подходящими целочисленными ядрами инференса и обработки сигналов. Она отличается от AVX-512 VNNI и от NPU.

Как это работает

Исходное расширение AVX-VNNI включает операции умножения с накоплением для байтов и слов над 128-битными или 256-битными векторами. Например, VPDPBUSD умножает беззнаковые байты на знаковые байты, суммирует группы в двойные слова и накапливает результат в приемнике. Варианты с насыщением имеют собственное поведение при переполнении. Квантование и знаковость должны соответствовать выбранной операции.

Области применения

Библиотека нейронных сетей может использовать эти скалярные произведения для квантованного матричного ядра после упаковки весов и выбора подходящей реализации времени выполнения. Преобразование данных, масштабы, нулевые точки и перемещение данных по-прежнему имеют значение. Более быстрое внутреннее произведение не гарантирует сквозную точность модели или задержку на уровне приложения.

Как проверить поддержку и активацию

Проверьте включенное состояние AVX, затем бит 4 CPUID.07H.01H:EAX для исходного расширения AVX-VNNI после проверки поддерживаемых диапазонов leaf и subleaf. Проверьте отдельные биты для более поздних вариантов. Убедитесь, что библиотека выбрала соответствующий путь VEX, а не путь AVX-512.

Программа должна содержать соответствующую реализацию и выбирать ее во время выполнения. Аппаратный опрос, состояние регистров под управлением ОС и базовый уровень набора инструкций скомпилированного бинарного файла проверяются раздельно. Виртуальная машина может намеренно скрывать часть функций хоста, а контейнер не добавляет процессору инструкций, отсутствующих на хосте.

Чего не гарантирует данная функция

AVX-VNNI не подразумевает AVX-512, AMX, каждое последующее расширение VNNI или поддержку любого целочисленного типа. AVX-VNNI-INT8 и AVX-VNNI-INT16 имеют отдельное перечисление функций и не должны выводиться из исходного бита AVX-VNNI.

Совместимость и производительность на практике

Измеряйте общую рабочую нагрузку на репрезентативных данных. Более широкие векторы могут сократить количество инструкций, но не изменить объем трафика памяти, задержки синхронизации или затраты на преобразование данных. Задержка инструкций, пропускная способность и профиль энергопотребления зависят от точной микроархитектуры и условий эксплуатации.

Практический чек-лист для проверки

  1. Зафиксируйте точную модель процессора или платформы, а также задействованные версии приложения, ОС и среды выполнения. Сохраните точную формулировку возникшей ошибки или требования.
  2. Сверьтесь со справочными материалами производителя для этой точной модели, затем проверьте действующую поддержку и состояние активации в окружении, где выполняется программа.
  3. Сопоставьте каждое требование выбранного бинарного файла или бэкенда. Похожего названия функции, псевдонима или общего маркетингового обозначения технологии недостаточно.
  4. Убедитесь, что приложение выбрало предполагаемую реализацию. Используйте его документированные средства диагностики и поддерживаемый резервный код при несоблюдении требований.
  5. Вносите по одному поддерживаемому изменению за раз и повторяйте ту же рабочую нагрузку. Сохраняйте исходную конфигурацию и возможность отката.

Если функция указана в списке, но ПО не может ее использовать

Начните с точного сбойного компонента. База данных оборудования описывает зафиксированные возможности; операционная система или гипервизор могут предоставлять иное фактическое окружение. Ошибка недопустимой инструкции также требует анализа конкретной сбойной команды и сборки бинарного файла, так как повреждение данных или сторонняя неподдерживаемая инструкция могут вызывать аналогичный симптом.

Установите версию приложения, драйвера или среды выполнения, поддерживаемую для данной платформы, и при необходимости используйте документированную производителем базовую или резервную сборку. Обновление ПО не может создать инструкцию, отсутствующую в процессоре. Изменения микрокода и политик безопасности должны выполняться по процедуре производителя системы и с планом восстановления, а не по общим шаблонам оптимизации.

Источники и границы применимости пояснения

Руководство разработчика программного обеспечения для архитектур Intel 64 и IA-32 · Ядро Linux: использование функций XSTATE в пространстве пользователя

Эти материалы определяют архитектурное поведение и требования к программному обеспечению. Они не подтверждают независимо каждое значение параметров на странице конкретной модели оборудования. Для проверки поддержки моделью используйте данные производителя на этой странице и проверяйте действующую конфигурацию системы. Данная статья не содержит результатов тестов производительности, сертификатов или дат независимых обзоров.

Источники и проверка

Редакционная принадлежность: Feex. Дата независимой проверки не зарегистрирована. Как мы проводим исследования.

Была ли эта статья полезна?

Достаточно ответа "да" или "нет". При желании выберите причину или оставьте короткую заметку.

Была ли эта статья полезна?