Нейрапрацэсарны блок (NPU)

Што вам трэба ведаць

Як гэта працуе

Асяроддзе выканання NPU разбівае мадэль на падтрымоўваныя аперацыі, выбірае лікавыя прадстаўленні і размяркоўвае працу на даступны паскаральнік. Некаторыя аператары могуць застацца на CPU альбо GPU. Перадачы, сінхранізацыя, кампіляцыя і загрузка мадэлі з'яўляюцца часткай поўнага шляху выканання.

Дзе гэта карысна

Праграма можа выкарыстоўваць падтрымоўваны пастаўшчык выканання (execution provider) для запуску прыдатнай мадэлі на NPU. Граф, які незаўважна пераходзіць на запасны варыянт для крытычнага аператара, можа паводзіць сябе зусім інакш, чым той, які застаецца на паскаральніку, нават на адной і той жа прыладзе.

Як праверыць падтрымку і актыўнасць

Вызначыце дакладную мадэль і пакаленне NPU, падтрымоўваны драйвер АС, версію асяроддзя выканання і пастаўшчыка выканання. Правярайце падтрымку аператараў, патрабаванні да памяці і дыягностыку адкату да запасных варыянтаў з рэальнай мадэллю, а не толькі па запісе ў дыспетчары прылад.

Наяўнасць абсталявання - гэта толькі першы крок. Драйвер, асяроддзе выканання, пастаўшчык выканання (execution provider), падтрымліваемыя аператары і лікавы фармат павінны адпавядаць праграме. Правярайце фактычны выбар бэкэнда і наяўнасць рэзервовага варыянту (fallback), а не мяркуйце, што ярлык AI азначае паскарэнне любой мадэлі.

Чаго гэта функцыя не гарантуе

Наяўнасць NPU не вызначае канкрэтнае значэнне TOPS, лікавую дакладнасць, дапушчэнне разрэджанасці, падтрымоўваны памер мадэлі альбо сертыфікацыю АС. Паказчыкі TOPS, вымераныя ў розных умовах, не з'яўляюцца непасрэдна параўнальнымі ацэнкамі для праграм.

Сумяшчальнасць і прадукцыйнасць на практыцы

Параўноўвайце поўныя працоўныя нагрузкі пры аднолькавых умовах, уключаючы кампіляцыю, перадачу даных і непадтрымліваемыя аператары. Пікавая колькасць аперацый у секунду залежыць ад дакладнасці і метадаў падліку. Яна не замяняе вымераныя паказчыкі затрымкі, прапускной здольнасці, энергаспажывання або дакладнасці мадэлі.

Практычны чэк-ліст для праверкі

1. Зафіксуйце дакладную мадэль працэсара або платформы, а таксама задзейнічаныя версіі праграмы, АС і асяроддзя выканання. Захавайце дакладную фармулёўку памылкі або патрабавання.
2. Звярніцеся да дакументацыі вытворцы для гэтай канкрэтнай мадэлі, затым праверце фактычныя магчымасці і ўключаны стан у асяроддзі, дзе выконваецца праграма.
3. Супастаўце кожнае патрабаванне выбранага выканальнага файла або бэкэнда. Аналагічнай назвы функцыі, псеўданіма або агульнай назвы тэхналогіі недастаткова.
4. Пацвердзіце, што праграма выбрала патрэбную рэалізацыю. Выкарыстоўвайце яе задакументаваныя сродкі дыягностыкі і падтрымліваемы запасны варыянт, калі патрабаванні не выконваюцца.
5. Уносьце па адным падтрымліваемым змяненні за раз і паўтарайце тую ж нагрузку. Захоўвайце зыходную канфігурацыю і магчымасць адкату.

Калі функцыя пазначана, але праграмнае забеспячэнне не можа яе выкарыстоўваць

Пачніце з канкрэтнага кампанента, які выклікае збой. Апаратная база даных апісвае зафіксаваныя магчымасці; аперацыйная сістэма або гіпервізар могуць прадастаўляць іншае фактычнае асяроддзе. Памылка недапушчальнай інструкцыі (illegal instruction) таксама патрабуе даследавання канкрэтнай інструкцыі, якая выклікала збой, і зборкі бінарнага файла, паколькі пашкоджанне даных або іншая непадтрымліваемая інструкцыя могуць выклікаць аналагічны сімптом.

Усталюйце версію праграмы, драйвера або асяроддзя выканання, якая падтрымліваецца для дадзенай платформы, і пры неабходнасці выкарыстоўвайце задакументаваную вытворцам базавую або запасную зборку. Абнаўленне ПЗ не можа стварыць інструкцыю, якой няма ў працэсары. Змяненні ў мікрапраграме (firmware) і палітыках бяспекі павінны адпавядаць працэдурам вытворцы сістэмы і плану аднаўлення, а не агульным рэцэптам аптымізацыі.

Звязаныя функцыі і карысныя адрозненні

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Крыніцы і межы прымянення гэтага тлумачэння

Архітэктура AMD XDNA · Пастаўшчыкі выканання ONNX Runtime

Гэтыя даведнікі вызначаюць архітэктурныя паводзіны і патрабаванні да праграмнага забеспячэння. Яны не пацвярджаюць незалежна кожнае значэнне функцыі на звязанай старонцы мадэлі абсталявання. Для праверкі падтрымкі мадэллю выкарыстоўвайце даныя вытворцы на адпаведнай старонцы і правярайце фактычную канфігурацыю сістэмы. Гэты артыкул не змяшчае вынікаў тэсціравання (benchmark), сертыфікацыі або даты незалежнага агляду.

Звязанае

Гэтыя аб'екты звязаны з гэтым артыкулам. Тып пазначаны на кожнай спасылцы.

Крыніцы і праверка

Рэдакцыйная прыналежнасць: Feex. Дата незалежнай праверкі не зафіксавана. Як мы даследуем.

• Архітэктура AMD XDNA · Тайлавая архітэктура прасторавага патоку даных, лакальная памяць і кампаненты AI Engine. Агульны тэкст пра архітэктуру не вызначае колькасць тайлаў мадэлі або TOPS.
• Пастаўшчыкі выканання ONNX Runtime · Архітэктура пастаўшчыка выканання, разбіццё графа і апаратная інтэграцыя. Наяўнасць пастаўшчыка не даказвае, што кожны аператар выгружаецца на паскаральнік.