Neural Processing Unit (NPU)

Chello ca t'hê 'a sapé

Comme fonsiona

Nu runtime 'e NPU sparte nu mudello 'ncopp'a ll'operazzioni suppurtate, scerne 'e rappresentazzioni nummèriche e urdena 'o faticà 'ncopp'a ll'accelleratore a despusizzione. Cierti operature ponno rummané 'ncopp'a CPU o GPU. Passagge 'e date, sincronizzazzione, cumpilazzione e caricamento d' 'o mudello fannu parte d' 'o cammino d'esecuzzione sano.

Addò serve

N'applicazzione po' ausà nu provider d'esecuzzione suppurtato pe fa girà nu mudello idòneo 'ncopp'a ll'NPU. Nu grafo ca fa nu fallback senza dì niente pe n'operatore 'mpurtante po' funziunà 'n manera assaje diversa 'a uno ca resta 'ncopp'a ll'accelleratore, pure 'ncopp'a 'o stesso apparato.

Comme se cuntrolla 'o supporto e ll'abbilitazzione

Ricanuscite 'o mudello e 'a generazzione esatta 'e ll'NPU, 'o driver 'e sistema suppurtato, 'a verzione d' 'o runtime e 'o provider d'esecuzzione. Cuntrullate 'o supporto 'e ll'operature, 'e requesite 'e memoria e 'e diacnòsteche 'e fallback c' 'o mudello overo, nun sulo c' 'a vuce int'ô gestore periferiche.

'A dispunibbilita hardware e sulo 'o primmo passo. 'O driver, 'o runtime, ll'execution provider, ll'operature supportate e 'o furmato nummereco hann' 'a cumbacià cu ll'applicazzione. Cuntrolla 'a scelta effettiva d' 'o backend e ll'alternativa mméce 'e penzà ca n'etichetta AI vo dicere ca ogne mudello vene accelerato.

Chello ca 'a funzionalita nun stabbilisce

'A presenzia 'e ll'NPU nun garantisce nu valore TOPS particulare, 'a pricisione nummèrica, l'ipòtesi 'e sparsità, 'a grandezza d' 'o mudello suppurtato o 'a cerificazzione d' 'o SO. 'E cifre TOPS mesurate sotta cundizzioni diverse nun songo paragonàbbili a prove 'e benchmark dirette.

Cumpatibbilita e prestazziune dint' 'a prateca

Cunfrunta cariche 'e fatica sani siconno 'e ccundizziune stabilite, cumpresi 'a cumpilazzione, 'e passagge e ll'operature nun supportati. Ll'operazziune massime a 'o secunno dipènnene d' 'a precisione e d' 'e cunte 'e base. Nun songo nu sustituto pe latenza, portata, energia o accuratezza d' 'o mudello misurate.

Na lista 'e verifeca prateca

1. Riggistra 'o mudello esatto d' 'o prucessore o d' 'a piattaforma e 'e vversione 'e ll'applicazzione, d' 'o sistema operativo e d' 'o runtime cumbulute. Mantien' 'e pparole esatte 'e ll'errore o d' 'o requisito overo.
2. Cuntrolla 'o riferimento d' 'o costruttore pe chillu mudello esatto, po verifeca 'a capacita effettiva e 'o stato abbilitato dint'a ll'ambiente addò gira 'o prugramma.
3. Cunfrunta ogne requisito d' 'o binario o backend sciveto. Na funzionalita cu nu nomme sumigliante, n'alias o n'etichetta tecnologgeca generale nun abbasta.
4. Cunferma ca ll'applicazzione ha sciveto ll'implementazzione vuluta. Ausa 'a diagnosteca documentata soja e n'alternativa supportata quanno 'e requisite nun songo rispettate.
5. Fa nu sulo cagnamento supportato a ll'avota e ripete 'o stesso carico 'e fatica. Mantien' 'a cunfigurazzione origginale e 'a via 'e recuppero a portata 'e mana.

Si 'a funzionalita sta scritta ma 'o software nun 'a po ausà

Pparti d' 'o cumponente esatto ca falla. Nu database hardware descrive 'a capacita riggistrata; 'o sistema operativo o ll'hypervisor po mustrà n'ambiente effettivo diverzo. N'errore 'e struzzione illegale addimanna pure 'e verificà 'a struzzione ca sgarra overamente e 'a build d' 'o binario, pecché na corruzzione o n'ata struzzione nun supportata po dà nu sintomo simile.

Stalla 'a vversione 'e ll'applicazzione, d' 'o driver o d' 'o runtime supportata p' 'a piattaforma esatta, e ausa 'a baseline documentata d' 'o costruttore o na build 'e fallback si serve. N'aggiurnamento software nun po crià na struzzione ca 'o prucessore nun tene. 'E cagnamiente a 'o firmware e 'e puliteche 'e sicurezza hann' 'a siguità 'a prucedura d' 'o costruttore d' 'o sistema e nu pピアノ 'e recuppero mméce 'e na ricetta generale 'e uttimizzazzione.

Funzionalita cullegate e distinzziune utele

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Funte e ambito 'e sta spiegazzione

Architettura AMD XDNA · Provider d'esecuzzione ONNX Runtime

Sti riferimente stabbilisceno 'o cumpurtamento 'e ll'architettura e 'e requisite d' 'o software. Nun verificano 'e manera 'ndipennente ogne valore 'e funzionalita ngopp'a na paggena 'e nu mudello hardware culegato. P' 'o supporto d' 'o mudello, ausa ll'evidenze d' 'o costruttore 'e chella paggena e verifeca 'a cunfigurazzione effettiva d' 'o sistema. St'articulo nun furnesce benchmark, certificazzione o data 'e revisone 'ndipennente.

Cose cullegate

Sti ccose songo cullegate a chist'articulo. 'O tipo se vede 'ncopp'a ogne cullegamento.

Funte e verìfeca

Prupietà editoriale: Feex. Nisciuna data 'e revisizzione 'ndipennente è riggistrata. Comme facimmo 'e recerche.

• Architettura AMD XDNA · Architettura spaziale a flusso 'e date basata 'ncopp'a tasselli, memorie lucali e cumpunenti AI Engine. 'O testo ginirale 'e ll'architettura nun fissa 'o nummero 'e tasselli o 'e TOPS 'e nu mudello.
• Provider d'esecuzzione ONNX Runtime · Architettura d' 'o provider d'esecuzzione, partizzione d' 'o grafo e 'ntegrazzione specìfeca 'e ll'hardware. 'A presenzia d' 'o provider nun dimustra ca ogne operatore vene scarrecato.