AMX, Advanced Matrix Extensions

Архитектурна справкаFeex

Нарича се още AMX, AMX (Advanced Matrix Extensions)

Intel AMX добавя към x86 средства за матрични изчисления, базирани на блокове (tiles). AMX-TILE и аритметичните разширения имат отделни битове за възможности, а операционната система трябва да управлява значителното състояние на блоковете.

Какво трябва да знаете

Как работи

AMX използва конфигурирани двумерни регистри за блокове вместо обикновени YMM/ZMM вектори. Конфигурацията на блоковете описва активните форми, докато аритметичните разширения като AMX-INT8 или AMX-BF16 дефинират конкретни матрични операции и числови формати. Софтуерът пакетира данните и избира валидни форми в рамките на изброените лимити за палитрата.

Къде е полезно

Библиотека за матрични операции може да преобразува поддържано ядро в зареждания на блокове, операции за скаларно произведение и записвания на блокове. Разходите за пакетиране, размерите на матрицата и локалността на кеша могат да доминират при малки или неравномерни работни натоварвания. Хардуерът за блокове не прави всеки оператор за невронни мрежи подходящ за ускорение.

Как се проверява поддръжката и активирането

Проверете AMX-TILE и всяко необходимо аритметично разширение в CPUID leaf 7, избройте ограниченията за блоковете и потвърдете състоянието, разрешено от операционната система. Под Linux приложенията, използващи динамични данни за блокове, трябва да следват документирания процес ARCH_REQ_XCOMP_PERM; поддръжката и битовете в XCR0 сами по себе си не са достатъчни.

Хардуерната наличност е само първата стъпка. Драйверът, средата за изпълнение, доставчикът на изпълнение (execution provider), поддържаните оператори и числовият формат трябва да съответстват на приложението. Инспектирайте действителния избор на бекенд и резервен вариант, вместо да предполагате, че етикет за изкуствен интелект означава, че всеки модел се ускорява.

Какво не гарантира тази функция

AMX не означава AVX-512, общ NPU или всеки аритметичен формат на AMX. Наличието на бит в процесора само по себе си не осигурява разрешение за процеса или достатъчно състояние на сигналния стек. Неподдържани форми на блокове или липсващо разрешение от операционната система могат да доведат до срив дори на машина с възможности за AMX.

Съвместимост и производителност на практика

Сравнявайте пълните работни натоварвания при посочените условия, включително компилация, трансфери и неподдържани оператори. Пиковите операции в секунда зависят от предположенията за точност и броене. Те не заместват измерените латентност, пропускателна способност, консумация на енергия или точност на модела.

Практически контролен списък за проверка

Запишете точния модел на процесора или платформата, както и използваните версии на приложението, операционната система и средата за изпълнение. Запазете точния текст на действителната грешка или изискване.
Проверете документацията от производителя за този точен модел, след което инспектирайте действителните възможности и активираното състояние в средата, където работи програмата.
Сравнете всяко изискване на избрания двоичен файл или бекенд. Подобно наименувана функция, псевдоним или общ технологичен етикет не са достатъчни.
Потвърдете, че приложението е избрало планираната реализация. Използвайте неговата документирана диагностика и поддържан резервен вариант, когато изискванията не са изпълнени.
Правете по една поддържана промяна наведнъж и повтаряйте същото работно натоварване. Запазете достъпни оригиналната конфигурация и плана за възстановяване.

Ако функцията е посочена, но софтуерът не може да я използва

Започнете с точния компонент, който дава грешка. Хардуерната база данни описва записаните възможности; операционната система или хипервайзорът могат да предоставят различна ефективна среда. Грешка за невалидна инструкция (illegal-instruction) също изисква разследване на действителната сриваща се инструкция и компилацията на двоичния файл, тъй като повреда или несвързана неподдържана инструкция може да предизвика подобен симптом.

Инсталирайте версията на приложението, драйвера или средата за изпълнение, която се поддържа за точната платформа, и използвайте документираната от производителя базова или резервна компилация, ако е необходимо. Софтуерна актуализация не може да създаде инструкция, която липсва в процесора. Промените във фърмуера и политиките за сигурност трябва да следват процедурата на производителя на системата и план за възстановяване, а не общи съвети за оптимизация.

Източници и обхват на това обяснение

Intel 64 and IA-32 Architectures Software Developer's Manual · Linux ядро: използване на XSTATE функции в потребителското пространство

Тези източници установяват архитектурното поведение и софтуерните изисквания. Те не проверяват независимо всяка стойност на параметър на свързана страница за хардуерен модел. За поддръжка на даден модел използвайте данните от производителя на съответната страница и проверете ефективната системна конфигурация. Тази статия не предоставя бенчмарк, сертификация или дата на независим преглед.

Източници и проверка

Редакционна собственост: Feex. Не е записана дата на независим преглед. Как проучваме.

Intel 64 and IA-32 Architectures Software Developer's Manual · Томове 1 и 2 описват посочените семейства инструкции и CPUID; Том 3 описва състоянието, страницирането, VMX и контролите за защита. Документацията за архитектурата не гарантира поддръжка за конкретен модел.
Linux ядро: използване на XSTATE функции в потребителското пространство · Активирано от ОС векторно състояние, динамично активирано състояние на блокове, изисквания към сигналния стек и процес за разрешение на AMX. Специфичното за Linux поведение не представлява обещание за друга операционна система.

Беше ли полезна тази статия?

Достатъчно е "да" или "не". Изберете причина, ако желаете, или добавете кратка бележка.