Deep Learning Boost

Што вам трэба ведаць

Як гэта працуе

Прадукты, апісаныя гэтай назвай, могуць прадастаўляць розныя камбінацыі сродкаў вектарнага скалярнага здабытку і іншых сродкаў паскарэння. Праграмная бібліятэка выбірае ядры на аснове фактычных пашырэнняў, лікавых фарматаў і стану, уключанага АС. Гэта назва шырэйшая за адзін код аперацыі або пераносную бінарную базу.

Дзе гэта карысна

Асяроддзе выканання высноўвання можа выбіраць ядро квантаванага скалярнага здабытку для падтрымоўванай аперацыі мадэлі. Выбраны пастаўшчык выканання, дакладнасць даных, ахоп аператараў і пакаванне вызначаюць, ці выкарыстоўвае праграма магчымасці працэсара на практыцы.

Як праверыць падтрымку і актыўнасць

Праверце тэхнічныя характарыстыкі дакладнай мадэлі ад вытворцы, затым пералічыце пашырэнні інструкцый, неабходныя асяроддзю выканання. Праверце яго дыягнастычны вывад для абранага ядра/бэкэнда і пераканайцеся, што адпаведны вектарны або пліткавы (tile) стан АС уключаны.

Наяўнасць абсталявання - гэта толькі першы крок. Драйвер, асяроддзе выканання, пастаўшчык выканання (execution provider), падтрымліваемыя аператары і лікавы фармат павінны адпавядаць праграме. Правярайце фактычны выбар бэкэнда і наяўнасць рэзервовага варыянту (fallback), а не мяркуйце, што ярлык AI азначае паскарэнне любой мадэлі.

Чаго гэта функцыя не гарантуе

Не выводзьце наяўнасць AVX-512 VNNI, AVX-VNNI, BF16, AMX або NPU толькі з гэтага маркетынгавага поля. Пікавая колькасць аперацый у секунду пры адной дакладнасці не з'яўляецца ўзаемазаменнай са скразной хуткасцю высноўвання або дакладнасцю мадэлі.

Сумяшчальнасць і прадукцыйнасць на практыцы

Параўноўвайце поўныя працоўныя нагрузкі пры аднолькавых умовах, уключаючы кампіляцыю, перадачу даных і непадтрымліваемыя аператары. Пікавая колькасць аперацый у секунду залежыць ад дакладнасці і метадаў падліку. Яна не замяняе вымераныя паказчыкі затрымкі, прапускной здольнасці, энергаспажывання або дакладнасці мадэлі.

Практычны чэк-ліст для праверкі

1. Зафіксуйце дакладную мадэль працэсара або платформы, а таксама задзейнічаныя версіі праграмы, АС і асяроддзя выканання. Захавайце дакладную фармулёўку памылкі або патрабавання.
2. Звярніцеся да дакументацыі вытворцы для гэтай канкрэтнай мадэлі, затым праверце фактычныя магчымасці і ўключаны стан у асяроддзі, дзе выконваецца праграма.
3. Супастаўце кожнае патрабаванне выбранага выканальнага файла або бэкэнда. Аналагічнай назвы функцыі, псеўданіма або агульнай назвы тэхналогіі недастаткова.
4. Пацвердзіце, што праграма выбрала патрэбную рэалізацыю. Выкарыстоўвайце яе задакументаваныя сродкі дыягностыкі і падтрымліваемы запасны варыянт, калі патрабаванні не выконваюцца.
5. Уносьце па адным падтрымліваемым змяненні за раз і паўтарайце тую ж нагрузку. Захоўвайце зыходную канфігурацыю і магчымасць адкату.

Калі функцыя пазначана, але праграмнае забеспячэнне не можа яе выкарыстоўваць

Пачніце з канкрэтнага кампанента, які выклікае збой. Апаратная база даных апісвае зафіксаваныя магчымасці; аперацыйная сістэма або гіпервізар могуць прадастаўляць іншае фактычнае асяроддзе. Памылка недапушчальнай інструкцыі (illegal instruction) таксама патрабуе даследавання канкрэтнай інструкцыі, якая выклікала збой, і зборкі бінарнага файла, паколькі пашкоджанне даных або іншая непадтрымліваемая інструкцыя могуць выклікаць аналагічны сімптом.

Усталюйце версію праграмы, драйвера або асяроддзя выканання, якая падтрымліваецца для дадзенай платформы, і пры неабходнасці выкарыстоўвайце задакументаваную вытворцам базавую або запасную зборку. Абнаўленне ПЗ не можа стварыць інструкцыю, якой няма ў працэсары. Змяненні ў мікрапраграме (firmware) і палітыках бяспекі павінны адпавядаць працэдурам вытворцы сістэмы і плану аднаўлення, а не агульным рэцэптам аптымізацыі.

Звязаныя функцыі і карысныя адрозненні

AVX-VNNI · AVX-512 · AMX, Advanced Matrix Extensions · Нейрапрацэсарны блок (NPU)

Крыніцы і межы прымянення гэтага тлумачэння

Intel: глыбокае навучанне з AVX-512 і DL Boost · Intel 64 and IA-32 Architectures Software Developer's Manual

Гэтыя даведнікі вызначаюць архітэктурныя паводзіны і патрабаванні да праграмнага забеспячэння. Яны не пацвярджаюць незалежна кожнае значэнне функцыі на звязанай старонцы мадэлі абсталявання. Для праверкі падтрымкі мадэллю выкарыстоўвайце даныя вытворцы на адпаведнай старонцы і правярайце фактычную канфігурацыю сістэмы. Гэты артыкул не змяшчае вынікаў тэсціравання (benchmark), сертыфікацыі або даты незалежнага агляду.

Звязанае

Гэтыя аб'екты звязаны з гэтым артыкулам. Тып пазначаны на кожнай спасылцы.

Крыніцы і праверка

Рэдакцыйная прыналежнасць: Feex. Дата незалежнай праверкі не зафіксавана. Як мы даследуем.

• Intel: глыбокае навучанне з AVX-512 і DL Boost · Тлумачыць паскарэнне на аснове VNNI. Дакладны набор інструкцый па-ранейшаму неабходна правяраць для канкрэтнага працэсара і асяроддзя выканання.
• Intel 64 and IA-32 Architectures Software Developer's Manual · Тамы 1 і 2 апісваюць названыя сямействы інструкцый і CPUID; Том 3 апісвае стан, старонкавую арганізацыю памяці, VMX і элементы кіравання абаронай. Архітэктурная дакументацыя не пацвярджае падтрымку канкрэтнай мадэлі.