Njësia e Përpunimit Neuronal (NPU)

Referenca e arkitekturësFeex

Një NPU është një procesor i projektuar për ngarkesa pune të mbështetura të rrjeteve nervore, shpesh me theks në konkludimin (inference) efikas. Etiketa e përgjithshme nuk përshkruan një grup universal instruksionesh ose një standard të përputhshmërisë së aplikacioneve.

Çfarë duhet të dini

Si funksionon

Një mjedis ekzekutimi (runtime) i NPU-së e ndan një model në operacione të mbështetura, zgjedh paraqitjet numerike dhe planifikon punën në përshpejtuesin e disponueshëm. Disa operatorë mund të mbeten në CPU ose GPU. Transferimet, sinkronizimi, përpilimi dhe ngarkimi i modelit janë pjesë e rrugës së plotë të ekzekutimit.

Ku është e dobishme

Një aplikacion mund të përdorë një ofrues ekzekutimi të mbështetur për të ekzekutuar një model të përshtatshëm në NPU. Një graf që në heshtje kalon në zgjidhje alternative (fallback) për një operator kritik mund të sillet shumë ndryshe nga një që qëndron në përshpejtues, madje edhe në të njëjtën pajisje.

Si të kontrollohet mbështetja dhe aktivizimi

Identifikoni modelin dhe gjeneratën e saktë të NPU-së, drajverin e mbështetur të OS-së, versionin e mjedisit të ekzekutimit dhe ofruesin e ekzekutimit. Kontrolloni mbështetjen e operatorit, kërkesat e memories dhe diagnostikimet e fallback me modelin aktual, jo vetëm një zë në menaxherin e pajisjeve.

Disponueshmëria e harduerit është vetëm hapi i parë. Drajveri, mjedisi i ekzekutimit, ofruesi i ekzekutimit, operatorët e mbështetur dhe formati numerik duhet të përputhen me aplikacionin. Inspektoni përzgjedhjen aktuale të prapavijës dhe zgjidhjen alternative në vend që të supozoni se një etiketë AI do të thotë se çdo model përshpejtohet.

Çfarë nuk përcakton kjo veçori

Prania e NPU-së nuk përcakton një vlerë të caktuar TOPS, saktësi numerike, supozim për rrallësinë (sparsity), madhësi të mbështetur të modelit ose certifikim nga OS-ja. Shifrat TOPS të matura në kushte të ndryshme nuk janë vlerësime krahasuese aplikacionesh drejtpërdrejt të krahasueshme.

Përputhshmëria dhe performanca në praktikë

Krahasoni ngarkesa të plota pune në kushte të përcaktuara, duke përfshirë kompilimin, transferimet dhe operatorët e pambështetur. Operacionet maksimale për sekondë varen nga saktësia dhe supozimet e numërimit. Ato nuk janë një zëvendësues për vonesën e matur, xhiron, energjinë ose saktësinë e modelit.

Një listë praktike kontrolli për verifikim

Regjistroni modelin e saktë të procesorit ose platformës dhe versionet e përfshira të aplikacionit, sistemit operativ dhe mjedisit të ekzekutimit. Ruani formulimin e gabimit ose kërkesës aktuale.
Kontrolloni referencën e prodhuesit për atë model të saktë, më pas inspektoni aftësinë efektive dhe gjendjen e aktivizuar në mjedisin ku ekzekutohet programi.
Krahasoni çdo kërkesë të binarit ose prapavijës së zgjedhur. Një veçori me emër të ngjashëm, një pseudonim ose një etiketë e gjerë teknologjike nuk mjafton.
Konfirmoni që aplikacioni ka zgjedhur implementimin e synuar. Përdorni diagnostikimet e dokumentuara të tij dhe një alternativë të mbështetur kur kërkesat nuk plotësohen.
Bëni një ndryshim të mbështetur në një moment dhe përsëritni të njëjtën ngarkesë pune. Mbajeni të disponueshme konfigurimin origjinal dhe rrugën e rikuperimit.

Nëse veçoria listohet por softueri nuk mund ta përdorë atë

Filloni me komponentin e saktë që dështon. Një bazë të dhënash harduerike përshkruan aftësinë e regjistruar; sistemi operativ ose hipervizori mund të ekspozojë një mjedis efektiv të ndryshëm. Një gabim instruksioni të paligjshëm kërkon gjithashtu hetim të instruksionit aktual me defekt dhe të ndërtimit të binarit, sepse dëmtimi ose një instruksion i palidhur i pambështetur mund të prodhojë një simptomë të ngjashme.

Instaloni versionin e aplikacionit, drajverit ose mjedisit të ekzekutimit të mbështetur për platformën e saktë, dhe përdorni versionin bazë ose alternativ të dokumentuar nga prodhuesi nëse është e nevojshme. Një përditësim softueri nuk mund të krijojë një instruksion që procesorit i mungon. Ndryshimet në firmware dhe politikat e sigurisë duhet të ndjekin procedurën e prodhuesit të sistemit dhe një plan rikuperimi në vend të një recete të përgjithshme optimizimi.

Burimet dhe fusha e këtij shpjegimi

AMD XDNA architecture · ONNX Runtime execution providers

Këto referenca përcaktojnë sjelljen arkitekturore dhe kërkesat e softuerit. Ato nuk verifikojnë në mënyrë të pavarur çdo vlerë të veçorive në faqen e lidhur të modelit të harduerit. Për mbështetjen e modelit, përdorni dëshmitë e prodhuesit në atë faqe dhe kontrolloni konfigurimin efektiv të sistemit. Ky artikull nuk ofron një test standard vlerësimi, certifikim ose datë shqyrtimi të pavarur.

Burimet dhe verifikimi

Pronësia editoriale: Feex. Nuk është regjistruar asnjë datë shqyrtimi të pavarur. Si hulumtojmë.

AMD XDNA architecture · Arkitektura e rrjedhës hapësinore të të dhënave e bazuar në pllaka (tiles), memoriet lokale dhe komponentët AI Engine. Teksti i përgjithshëm i arkitekturës nuk përcakton numrin e pllakave të një modeli apo TOPS.
ONNX Runtime execution providers · Arkitektura e ofruesit të ekzekutimit, ndarja e grafit dhe integrimi specifik i harduerit. Prania e ofruesit nuk provon që çdo operator shkarkohet në harduer (offloaded).

A ishte i dobishëm ky artikull?

Një po ose jo mjafton. Zgjidhni një arsye nëse dëshironi, ose shtoni një shënim të shkurtër.