AMX, Advanced Matrix Extensions

Что необходимо знать

Как это работает

AMX использует сконфигурированные двумерные регистры-плитки (tiles) вместо стандартных векторных регистров YMM/ZMM. Конфигурация плиток определяет активные размеры матриц, тогда как арифметические расширения, такие как AMX-INT8 или AMX-BF16, задают конкретные матричные операции и форматы чисел. Программное обеспечение упаковывает данные и выбирает допустимые размеры в пределах параметров опрошенной палитры.

Области применения

Матричная библиотека может транслировать поддерживаемое ядро в команды загрузки плиток, скалярного произведения и выгрузки плиток. Накладные расходы на упаковку, размерности матриц и локальность кэша могут снижать эффективность на небольших или нестандартных нагрузках. Аппаратная поддержка матричных инструкций не означает пригодность абсолютно каждой операции нейросети для ускорения.

Как проверить поддержку и активацию

Проверьте наличие AMX-TILE и каждого необходимого арифметического расширения в листе 7 CPUID, определите лимиты конфигурации плиток и убедитесь, что поддержка включена на уровне ОС. В Linux приложения, динамически использующие данные в плитках, должны выполнять документированный вызов ARCH_REQ_XCOMP_PERM; одних лишь битов поддержки и XCR0 недостаточно.

Наличие аппаратной поддержки - это лишь первый шаг. Драйвер, среда выполнения, провайдер выполнения (execution provider), поддерживаемые операторы и формат чисел должны соответствовать требованиям приложения. Проверяйте фактический выбор бэкенда и резервные варианты вместо предположений, что отметка AI означает ускорение любой модели.

Чего не гарантирует данная функция

AMX не подразумевает наличия AVX-512, универсального NPU или поддержки всех арифметических форматов AMX. Наличие бита в CPUID само по себе не дает процессу необходимых прав и не гарантирует достаточного размера стека сигналов. Неподдерживаемые размеры плиток или отсутствие разрешения от ОС могут вызвать исключение даже на процессоре с поддержкой AMX.

Совместимость и производительность на практике

Сравнивайте полные рабочие нагрузки при одинаковых заданных условиях, включая этапы компиляции, передачи данных и выполнение неподдерживаемых операторов. Пиковые показатели операций в секунду зависят от предположений о точности и методах подсчета. Они не заменяют реальных измерений задержки, пропускной способности, энергопотребления или точности модели.

Практический чек-лист для проверки

1. Зафиксируйте точную модель процессора или платформы, а также задействованные версии приложения, ОС и среды выполнения. Сохраните точную формулировку возникшей ошибки или требования.
2. Сверьтесь со справочными материалами производителя для этой точной модели, затем проверьте действующую поддержку и состояние активации в окружении, где выполняется программа.
3. Сопоставьте каждое требование выбранного бинарного файла или бэкенда. Похожего названия функции, псевдонима или общего маркетингового обозначения технологии недостаточно.
4. Убедитесь, что приложение выбрало предполагаемую реализацию. Используйте его документированные средства диагностики и поддерживаемый резервный код при несоблюдении требований.
5. Вносите по одному поддерживаемому изменению за раз и повторяйте ту же рабочую нагрузку. Сохраняйте исходную конфигурацию и возможность отката.

Если функция указана в списке, но ПО не может ее использовать

Начните с точного сбойного компонента. База данных оборудования описывает зафиксированные возможности; операционная система или гипервизор могут предоставлять иное фактическое окружение. Ошибка недопустимой инструкции также требует анализа конкретной сбойной команды и сборки бинарного файла, так как повреждение данных или сторонняя неподдерживаемая инструкция могут вызывать аналогичный симптом.

Установите версию приложения, драйвера или среды выполнения, поддерживаемую для данной платформы, и при необходимости используйте документированную производителем базовую или резервную сборку. Обновление ПО не может создать инструкцию, отсутствующую в процессоре. Изменения микрокода и политик безопасности должны выполняться по процедуре производителя системы и с планом восстановления, а не по общим шаблонам оптимизации.

Связанные функции и полезные различия

AVX-VNNI · Deep Learning Boost · Нейропроцессор (NPU) · XSAVE

Источники и границы применимости пояснения

Руководство разработчика программного обеспечения для архитектур Intel 64 и IA-32 · Ядро Linux: использование функций XSTATE в пространстве пользователя

Эти материалы определяют архитектурное поведение и требования к программному обеспечению. Они не подтверждают независимо каждое значение параметров на странице конкретной модели оборудования. Для проверки поддержки моделью используйте данные производителя на этой странице и проверяйте действующую конфигурацию системы. Данная статья не содержит результатов тестов производительности, сертификатов или дат независимых обзоров.

Связанное

Эти объекты связаны с данной статьей. Тип указан у каждой ссылки.

Источники и проверка

Редакционная принадлежность: Feex. Дата независимой проверки не зарегистрирована. Как мы проводим исследования.

• Руководство разработчика программного обеспечения для архитектур Intel 64 и IA-32 · Тома 1 и 2 описывают указанные семейства инструкций и CPUID; том 3 описывает управление состоянием, страничную адресацию, VMX и средства защиты. Архитектурная документация не определяет факт поддержки конкретной моделью.
• Ядро Linux: использование функций XSTATE в пространстве пользователя · Включение векторного состояния операционной системой, динамическое подключение состояния плиток, требования к стеку сигналов и процедура запроса прав AMX. Поведение, специфичное для Linux, не гарантируется в других ОС.