AVX-VNNI

Архітэктурны даведнікFeex

AVX-VNNI забяспечвае VEX-кадаваныя інструкцыі вектарнага скалярнага здабытку, якія выкарыстоўваюцца прыдатнымі цэлалікавымі ядрамі лагічнага высноўвання і апрацоўкі сігналаў. Гэта пашырэнне адрозніваецца ад AVX-512 VNNI і ад NPU.

Што вам трэба ведаць

Як гэта працуе

Арыгінальнае пашырэнне AVX-VNNI уключае аперацыі множання з накапленнем для байтаў і слоў над 128-бітнымі або 256-бітнымі вектарамі. Напрыклад, VPDPBUSD памнажае бяззнакавыя байты на знакавыя байты, сумуе групы ў двайныя словы і накаплівае ў прызначэнне. Варыянты з насычэннем маюць свае ўласныя паводзіны пры перапаўненні. Квантаванне і знакавасць павінны адпавядаць выбранай аперацыі.

Дзе гэта карысна

Бібліятэка нейронавых сетак можа выкарыстоўваць гэтыя скалярныя здабыткі для квантаванага матрычнага ядра пасля пакавання вагаў і выбару адпаведнай рэалізацыі асяроддзя выканання. Пераўтварэнне даных, маштабы, нулявыя кропкі і перамяшчэнне памяці па-ранейшаму маюць значэнне. Больш хуткі ўнутраны здабытак не гарантуе скразную дакладнасць мадэлі або затрымку прыкладання.

Як праверыць падтрымку і актыўнасць

Праверце ўключаны стан AVX, затым біт 4 у CPUID.07H.01H:EAX для арыгінальнага пашырэння AVX-VNNI пасля праверкі падтрымоўваных дыяпазонаў лістоў і падлістоў. Праверце асобныя біты для пазнейшых варыянтаў. Пераканайцеся, што бібліятэка выбрала адпаведны шлях VEX, а не шлях AVX-512.

Праграма павінна як змяшчаць адпаведную рэалізацыю, так і выбіраць яе падчас выканання. Пералічэнне апаратных сродкаў, стан рэгістраў, уключаны АС, і скампіляваны базавы ўзровень бінарнага файла - гэта асобныя праверкі. Віртуальная машына можа наўмысна паказваць менш функцый, чым яе хост, а кантэйнер не дадае інструкцый працэсару хоста.

Чаго гэта функцыя не гарантуе

AVX-VNNI не азначае наяўнасць AVX-512, AMX, кожнага пазнейшага пашырэння VNNI або падтрымку кожнага цэлалікавага тыпу. AVX-VNNI-INT8 і AVX-VNNI-INT16 маюць асобны пералік функцый і не павінны выводзіцца з арыгінальнага біта AVX-VNNI.

Сумяшчальнасць і прадукцыйнасць на практыцы

Вымярайце нагрузку цалкам з рэпрэзентатыўнымі данымі. Больш шырокія вектары могуць паменшыць колькасць інструкцый, але пакінуць нязменнымі трафік памяці, сінхранізацыю або затраты на пераўтварэнне. Затрымка інструкцый, прапускная здольнасць і энергаспажыванне залежаць ад канкрэтнай мікраархітэктуры і ўмоў эксплуатацыі.

Практычны чэк-ліст для праверкі

Зафіксуйце дакладную мадэль працэсара або платформы, а таксама задзейнічаныя версіі праграмы, АС і асяроддзя выканання. Захавайце дакладную фармулёўку памылкі або патрабавання.
Звярніцеся да дакументацыі вытворцы для гэтай канкрэтнай мадэлі, затым праверце фактычныя магчымасці і ўключаны стан у асяроддзі, дзе выконваецца праграма.
Супастаўце кожнае патрабаванне выбранага выканальнага файла або бэкэнда. Аналагічнай назвы функцыі, псеўданіма або агульнай назвы тэхналогіі недастаткова.
Пацвердзіце, што праграма выбрала патрэбную рэалізацыю. Выкарыстоўвайце яе задакументаваныя сродкі дыягностыкі і падтрымліваемы запасны варыянт, калі патрабаванні не выконваюцца.
Уносьце па адным падтрымліваемым змяненні за раз і паўтарайце тую ж нагрузку. Захоўвайце зыходную канфігурацыю і магчымасць адкату.

Калі функцыя пазначана, але праграмнае забеспячэнне не можа яе выкарыстоўваць

Пачніце з канкрэтнага кампанента, які выклікае збой. Апаратная база даных апісвае зафіксаваныя магчымасці; аперацыйная сістэма або гіпервізар могуць прадастаўляць іншае фактычнае асяроддзе. Памылка недапушчальнай інструкцыі (illegal instruction) таксама патрабуе даследавання канкрэтнай інструкцыі, якая выклікала збой, і зборкі бінарнага файла, паколькі пашкоджанне даных або іншая непадтрымліваемая інструкцыя могуць выклікаць аналагічны сімптом.

Усталюйце версію праграмы, драйвера або асяроддзя выканання, якая падтрымліваецца для дадзенай платформы, і пры неабходнасці выкарыстоўвайце задакументаваную вытворцам базавую або запасную зборку. Абнаўленне ПЗ не можа стварыць інструкцыю, якой няма ў працэсары. Змяненні ў мікрапраграме (firmware) і палітыках бяспекі павінны адпавядаць працэдурам вытворцы сістэмы і плану аднаўлення, а не агульным рэцэптам аптымізацыі.

Крыніцы і межы прымянення гэтага тлумачэння

Intel 64 and IA-32 Architectures Software Developer's Manual · Ядро Linux: выкарыстанне функцый XSTATE у прасторы карыстальніка

Гэтыя даведнікі вызначаюць архітэктурныя паводзіны і патрабаванні да праграмнага забеспячэння. Яны не пацвярджаюць незалежна кожнае значэнне функцыі на звязанай старонцы мадэлі абсталявання. Для праверкі падтрымкі мадэллю выкарыстоўвайце даныя вытворцы на адпаведнай старонцы і правярайце фактычную канфігурацыю сістэмы. Гэты артыкул не змяшчае вынікаў тэсціравання (benchmark), сертыфікацыі або даты незалежнага агляду.

Крыніцы і праверка

Рэдакцыйная прыналежнасць: Feex. Дата незалежнай праверкі не зафіксавана. Як мы даследуем.

Intel 64 and IA-32 Architectures Software Developer's Manual · Тамы 1 і 2 апісваюць названыя сямействы інструкцый і CPUID; Том 3 апісвае стан, старонкавую арганізацыю памяці, VMX і элементы кіравання абаронай. Архітэктурная дакументацыя не пацвярджае падтрымку канкрэтнай мадэлі.
Ядро Linux: выкарыстанне функцый XSTATE у прасторы карыстальніка · Уключаны аперацыйнай сістэмай вектарны стан, дынамічна ўключаны стан плітак, патрабаванні да стэка сігналаў і працэс атрымання дазволаў AMX. Спецыфічныя для Linux паводзіны не гарантуюць таго ж у іншай АС.

Ці быў гэты артыкул карысным?

Дастаткова адказаць "так" або "не". Выберыце прычыну, калі хочаце, або дадайце кароткую нататку.