Unitati di Prucissamentu Nnaurali (NPU)

Rifirimentu d'archititturaFeex

N'NPU è un prucissuri pruggettatu pi càrrichi di travagghiu di riti nìurali suppurtati, spissu cuncintrannusi supra n'inferenza efficienti. L'etichetta ginèrica nun discrivi un set d'istruzzioni univirsali o un standard di cumpatibbilità pi l'applicazzioni.

Chiḍḍu ca t'hà sapiri

Comu funziona

Un runtime NPU sparti un mudellu 'n opirazzioni suppurtati, scegghi li rapprisintazzioni numèrichi e pianìfica lu travagghiu supra l'acciliraturi dispunìbbili. Certi upiraturi ponnu arristari supra la CPU o la GPU. Trasfirimenti, sincrunizzazzioni, cumpilazzioni e carricamentu dû mudellu fannu parti dû percorsu d'esecuzzioni cumpretu.

Unni e' ùtili

N'applicazzioni pò usari un provider d'esecuzzioni suppurtatu pi fari ghirari un mudellu idòniu supra l'NPU. Un grafu chi fa silinziusamenti un fallback pi n'upiraturi crìticu pò cumpurtàrisi assai diversamenti d'un grafu chi resta supra l'acciliraturi, macari supra lu stissu dispusitivu.

Comu cuntrollari lu supportu e l'abbilitazzioni

Identificati lu mudellu e la ginirazzioni pricisi di l'NPU, lu driver SO suppurtatu, la virsioni dû runtime e lu provider d'esecuzzioni. Cuntrollati lu supportu di l'upiraturi, li requisiti di mimoria e la diàgnusi di fallback cû mudellu effittivu, nun sulu cu na vuci ntô gesturi dî dispusitivi.

La dispunibbilitati di l'hardware e' sulu lu primu passu. Lu driver, lu runtime, l'execution provider, l'upiraturi suppurtati e lu furmatu numèricu hànnu a currispùnniri a l'applicazzioni. Spizziona la silizzioni riali dû backend e lu fallback mmeci d'assùmiri ca n'etichetta AI signìfica ca ogni mudellu veni accilliratu.

Zoccu la funziunalitati nun stabbilisci

La prisenza di l'NPU nun stabbilisci un spicìficu valuri di TOPS, pricisioni numèrica, assunzioni di sparsità, grannizza dû mudellu suppurtata o cirtificazzioni dû SO. Li valuri TOPS misurati sutta cundizzioni diffirenti nun sunnu benchmark d'applicazzioni dirittamenti cunfruntàbbili.

Cumpatibbilitati e pristazzioni nnâ pràtica

Cunfrunta carichi di travagghiu cumpleti sutta cunnizzioni chiariti, nclujennu cumpilazzioni, trasfirimenti e upiraturi nun suppurtati. L'opirazzioni ô secunnu di piccu dipènninu dâ pricisioni e di l'assunzioni di cunteggiu. Nun sunnu un sustitutu pâ latenza misurata, lu throughput, l'energìa o la pricisioni dû mudellu.

Na lista di virìfica pràtica

Riggistra lu mudellu esattu dû prucissuri o dâ piattafurma e li virsioni di l'applicazzioni, dû SO e dû runtime cuinvorti. Manteni la formulazzioni di l'erruri o dû requisitu riali.
Cuntrolla lu rifirimentu dû prudutturi pi ddu mudellu esattu, poi spizziona la capacitati effittiva e lu statu abbilitatu nta l'ambienti unni lu prugramma gira.
Cunfrunta ogni requisitu dû binariu o dû backend silizziunatu. Na funziunalitati cû nomu sìmili, un pseudònimu o n'etichetta ticnulòggica ginèrica nun abbàstanu.
Cunferma ca l'applicazzioni hà silizziunatu la mplimintazzioni privista. Usa la sò diagnòstica ducumintata e un fallback suppurtatu quannu li requisiti nun sunnu suddisfatti.
Fai un canciamentu suppurtatu a la vota e ripeti lu stissu caricu di travagghiu. Manteni dispunìbbili la cunfigurazzioni urigginali e lu pircorsu di ricùp ситуаazzioni.

Si la funziunalitati e' ndicata ma lu software nun la po usari

Accumenza cû cumpunenti esattu ca fallisci. Un database d'hardware discrivi la capacitati riggistrata; lu sistema upirativu o l'hypervisor ponnu ammustrari n'ambienti effittivu diffirenti. N'erruri di struzzioni illigali addanna puru n'indàggini supra la struzzioni ca fallisci pi daveru e supra la build binaria, picchì la curruzzioni o na struzzioni nun currilata e nun suppurtata ponnu fari un sìntumu sìmili.

Installa la virsioni di l'applicazzioni, dû driver o dû runtime suppurtata pâ piattafurma esatta, e usa la build di basi o di fallback ducumintata dû prudutturi si n'hai bisognu. N'aggiurnamentu dû software nun po criari na struzzioni ca manca nnô prucissuri. Li canciamenti di firmware e di pulìtica di sicurizza avìssiru a sèquiri la prucidura dû prudutturi dû sistema e un pianu di ricùpiru mmeci d'un ricittariu d'uttimizzazzioni ginèricu.

Funti e scanciu di st'esplicazzioni

Architittura AMD XDNA · Provider d'esecuzzioni ONNX Runtime

Sti rifirimenti stabbilìscinu lu cumpurtamentu architittùnicu e li requisiti dû software. Nun virìficanu di manera ndipinnenti ogni valuri di funziunalitati nta na pàggina d'un mudellu hardware culligatu. Pû supportu dû mudellu, usa li provi dû prudutturi di dda pàggina e cuntrolla la cunfigurazzioni effittiva dû sistema. St'artìculu nun duna un benchmark, na cirtificazzioni o na data di rivisioni ndipinnenti.

Funti e virìfica

Titularità editoriali: Feex. Nudda data di rivisioni nnipinnenti è riggistrata. Comu facemu i ricerchi.

Architittura AMD XDNA · Architittura spatial dataflow basata supra tile, mimorî lucali e cumpunenti AI Engine. Lu testu ginèricu supra l'architittura nun stabbilisci lu cuntu dî tile d'un mudellu o li TOPS.
Provider d'esecuzzioni ONNX Runtime · Architittura dû provider d'esecuzzioni, partizziunamentu dû grafu e 'ntigrazzioni spicìfica pû hardware. La prisenza dû provider nun addimustra chi ogni upiraturi veni scarricatu.

Fu ùtili st'artìculu?

Un sì o un no abbasta. Scegghi un mutivu si voi, o junci na nota curta.