Gaussian Neural Accelerator (GNA)

Што вам трэба ведаць

Як гэта працуе

Падтрымліваемы праграмны стэк перадае прыдатныя задачы нейронавых сетак паскаральніку праз яго драйвер і асяроддзе выканання. Структура мадэлі, падтрымліваемыя аперацыі і лікавае прадстаўленне вызначаюць, што можа быць перанесена (offloaded). Працэсар усё яшчэ ўдзельнічае ў падрыхтоўцы, непадтрымліваемых аперацыях і кіраванні праграмай.

Дзе гэта карысна

Шумапрыглушэнне або арыентаваны на маўленне інферэнс могуць быць кандыдатамі, калі мадэль і асяроддзе выканання падтрымліваюць даступнае пакаленне GNA. Простая ўстаноўка праграмы, якая выкарыстоўвае ШІ, не азначае, што яна накіравана на GNA або пазбягае выканання на CPU.

Як праверыць падтрымку і актыўнасць

Вызначыце прыладу GNA платформы і падтрымліваемы драйвер/асяроддзе выканання, затым пракансультуйцеся з патрабаваннямі да аператараў мадэлі і пакалення ў афіцыйнай дакументацыі праекта. Выкарыстоўвайце дыягностыку асяроддзя выканання для праверкі апаратнага выканання, а не мяркуйце пра перанос толькі па наяўнасці прылады.

Наяўнасць абсталявання - гэта толькі першы крок. Драйвер, асяроддзе выканання, пастаўшчык выканання (execution provider), падтрымліваемыя аператары і лікавы фармат павінны адпавядаць праграме. Правярайце фактычны выбар бэкэнда і наяўнасць рэзервовага варыянту (fallback), а не мяркуйце, што ярлык AI азначае паскарэнне любой мадэлі.

Чаго гэта функцыя не гарантуе

Поле GNA не з'яўляецца доказам падтрымкі адвольных вялікіх моўных мадэлей, канкрэтнага патрабавання NPU TOPS або кожнай версіі асяроддзя выканання. Неабходна правяраць магчымасці і праграмную падтрымку канкрэтнага пакалення, а чыста праграмны рэзервовы варыянт можа змяніць характарыстыкі спажывання энергіі.

Сумяшчальнасць і прадукцыйнасць на практыцы

Параўноўвайце поўныя працоўныя нагрузкі пры аднолькавых умовах, уключаючы кампіляцыю, перадачу даных і непадтрымліваемыя аператары. Пікавая колькасць аперацый у секунду залежыць ад дакладнасці і метадаў падліку. Яна не замяняе вымераныя паказчыкі затрымкі, прапускной здольнасці, энергаспажывання або дакладнасці мадэлі.

Практычны чэк-ліст для праверкі

1. Зафіксуйце дакладную мадэль працэсара або платформы, а таксама задзейнічаныя версіі праграмы, АС і асяроддзя выканання. Захавайце дакладную фармулёўку памылкі або патрабавання.
2. Звярніцеся да дакументацыі вытворцы для гэтай канкрэтнай мадэлі, затым праверце фактычныя магчымасці і ўключаны стан у асяроддзі, дзе выконваецца праграма.
3. Супастаўце кожнае патрабаванне выбранага выканальнага файла або бэкэнда. Аналагічнай назвы функцыі, псеўданіма або агульнай назвы тэхналогіі недастаткова.
4. Пацвердзіце, што праграма выбрала патрэбную рэалізацыю. Выкарыстоўвайце яе задакументаваныя сродкі дыягностыкі і падтрымліваемы запасны варыянт, калі патрабаванні не выконваюцца.
5. Уносьце па адным падтрымліваемым змяненні за раз і паўтарайце тую ж нагрузку. Захоўвайце зыходную канфігурацыю і магчымасць адкату.

Калі функцыя пазначана, але праграмнае забеспячэнне не можа яе выкарыстоўваць

Пачніце з канкрэтнага кампанента, які выклікае збой. Апаратная база даных апісвае зафіксаваныя магчымасці; аперацыйная сістэма або гіпервізар могуць прадастаўляць іншае фактычнае асяроддзе. Памылка недапушчальнай інструкцыі (illegal instruction) таксама патрабуе даследавання канкрэтнай інструкцыі, якая выклікала збой, і зборкі бінарнага файла, паколькі пашкоджанне даных або іншая непадтрымліваемая інструкцыя могуць выклікаць аналагічны сімптом.

Усталюйце версію праграмы, драйвера або асяроддзя выканання, якая падтрымліваецца для дадзенай платформы, і пры неабходнасці выкарыстоўвайце задакументаваную вытворцам базавую або запасную зборку. Абнаўленне ПЗ не можа стварыць інструкцыю, якой няма ў працэсары. Змяненні ў мікрапраграме (firmware) і палітыках бяспекі павінны адпавядаць працэдурам вытворцы сістэмы і плану аднаўлення, а не агульным рэцэптам аптымізацыі.

Звязаныя функцыі і карысныя адрозненні

Нейрапрацэсарны блок (NPU) · Deep Learning Boost · AMX, Advanced Matrix Extensions

Крыніцы і межы прымянення гэтага тлумачэння

Intel Gaussian and Neural Accelerator library

Гэтыя даведнікі вызначаюць архітэктурныя паводзіны і патрабаванні да праграмнага забеспячэння. Яны не пацвярджаюць незалежна кожнае значэнне функцыі на звязанай старонцы мадэлі абсталявання. Для праверкі падтрымкі мадэллю выкарыстоўвайце даныя вытворцы на адпаведнай старонцы і правярайце фактычную канфігурацыю сістэмы. Гэты артыкул не змяшчае вынікаў тэсціравання (benchmark), сертыфікацыі або даты незалежнага агляду.

Звязанае

Гэтыя аб'екты звязаны з гэтым артыкулам. Тып пазначаны на кожнай спасылцы.

Крыніцы і праверка

Рэдакцыйная прыналежнасць: Feex. Дата незалежнай праверкі не зафіксавана. Як мы даследуем.

• Intel Gaussian and Neural Accelerator library · Афіцыйнае асяроддзе выканання/бібліятэка GNA, падтрымка апаратных пакаленняў і варыянты выкарыстання для інферэнсу з нізкім спажываннем энергіі. Азнаёмцеся з бягучым станам падтрымкі перад выбарам новага разгортвання.