Gaussian Neural Accelerator (GNA)

Chiḍḍu ca t'hà sapiri

Comu funziona

Nu stack software suppurtatu mmija lu travagghiu di riti neurali idòneu a l'acciliraturi tramiti lu sò driver e runtime. La struttura dû mudellu, l'upirazzioni suppurtati e la rapprisintazzioni nummèrica detèrminanu chi cosa pò èssiri scricatu. La CPU pigghia sempri parti â priparazzioni, a l'upirazzioni nun suppurtati e ô controllu di l'applicazzioni.

Unni e' ùtili

La suppressioni dû rumuri o l'infirenza vucali ponnu èssiri cannidati quannu lu mudellu e lu runtime suppòrtanu la ginirazzioni GNA dispunìbbili. Lu fattu sèmprici d'installari n'applicazzioni ca usa l'IA nun signìfica ca usa GNA o ca evita l'assecuzzioni supra la CPU.

Comu cuntrollari lu supportu e l'abbilitazzioni

Idintìfica lu dispusitivu GNA dâ piattaforma e lu driver/runtime suppurtatu, poi cunzulta l'upiraturi dû mudellu e li requisiti di ginirazzioni ntâ ducumintazzioni ufficiali dû pruggettu. Usa la diàgnusi dû runtime pi virificari l'assecuzzioni hardware mmeci d'assùmiri lu scaricamentu sulu dâ prisenza dû dispusitivu.

La dispunibbilitati di l'hardware e' sulu lu primu passu. Lu driver, lu runtime, l'execution provider, l'upiraturi suppurtati e lu furmatu numèricu hànnu a currispùnniri a l'applicazzioni. Spizziona la silizzioni riali dû backend e lu fallback mmeci d'assùmiri ca n'etichetta AI signìfica ca ogni mudellu veni accilliratu.

Zoccu la funziunalitati nun stabbilisci

Nu campu GNA nun è na prova di supportu pi mudelli linguìstici granni arbitrari, pi nu particulari requisitu TOPS dâ NPU o pi tutti li virsioni d'un runtime. Li capacitati e lu supportu software dâ ginirazzioni pricisa hannu a èssiri virificati, e l'arritiru (fallback) sulu software pò canciari lu cunsumu d'enirggìa.

Cumpatibbilitati e pristazzioni nnâ pràtica

Cunfrunta carichi di travagghiu cumpleti sutta cunnizzioni chiariti, nclujennu cumpilazzioni, trasfirimenti e upiraturi nun suppurtati. L'opirazzioni ô secunnu di piccu dipènninu dâ pricisioni e di l'assunzioni di cunteggiu. Nun sunnu un sustitutu pâ latenza misurata, lu throughput, l'energìa o la pricisioni dû mudellu.

Na lista di virìfica pràtica

1. Riggistra lu mudellu esattu dû prucissuri o dâ piattafurma e li virsioni di l'applicazzioni, dû SO e dû runtime cuinvorti. Manteni la formulazzioni di l'erruri o dû requisitu riali.
2. Cuntrolla lu rifirimentu dû prudutturi pi ddu mudellu esattu, poi spizziona la capacitati effittiva e lu statu abbilitatu nta l'ambienti unni lu prugramma gira.
3. Cunfrunta ogni requisitu dû binariu o dû backend silizziunatu. Na funziunalitati cû nomu sìmili, un pseudònimu o n'etichetta ticnulòggica ginèrica nun abbàstanu.
4. Cunferma ca l'applicazzioni hà silizziunatu la mplimintazzioni privista. Usa la sò diagnòstica ducumintata e un fallback suppurtatu quannu li requisiti nun sunnu suddisfatti.
5. Fai un canciamentu suppurtatu a la vota e ripeti lu stissu caricu di travagghiu. Manteni dispunìbbili la cunfigurazzioni urigginali e lu pircorsu di ricùp ситуаazzioni.

Si la funziunalitati e' ndicata ma lu software nun la po usari

Accumenza cû cumpunenti esattu ca fallisci. Un database d'hardware discrivi la capacitati riggistrata; lu sistema upirativu o l'hypervisor ponnu ammustrari n'ambienti effittivu diffirenti. N'erruri di struzzioni illigali addanna puru n'indàggini supra la struzzioni ca fallisci pi daveru e supra la build binaria, picchì la curruzzioni o na struzzioni nun currilata e nun suppurtata ponnu fari un sìntumu sìmili.

Installa la virsioni di l'applicazzioni, dû driver o dû runtime suppurtata pâ piattafurma esatta, e usa la build di basi o di fallback ducumintata dû prudutturi si n'hai bisognu. N'aggiurnamentu dû software nun po criari na struzzioni ca manca nnô prucissuri. Li canciamenti di firmware e di pulìtica di sicurizza avìssiru a sèquiri la prucidura dû prudutturi dû sistema e un pianu di ricùpiru mmeci d'un ricittariu d'uttimizzazzioni ginèricu.

Funziunalitati currilati e distinzioni ùtili

Unitati di Prucissamentu Nnaurali (NPU) · Deep Learning Boost · AMX, Advanced Matrix Extensions

Funti e scanciu di st'esplicazzioni

Intel Gaussian and Neural Accelerator library

Sti rifirimenti stabbilìscinu lu cumpurtamentu architittùnicu e li requisiti dû software. Nun virìficanu di manera ndipinnenti ogni valuri di funziunalitati nta na pàggina d'un mudellu hardware culligatu. Pû supportu dû mudellu, usa li provi dû prudutturi di dda pàggina e cuntrolla la cunfigurazzioni effittiva dû sistema. St'artìculu nun duna un benchmark, na cirtificazzioni o na data di rivisioni ndipinnenti.

Currilati

St'entità si cullèganu a st'artìculu. U tipu è ammustratu supra ogni culligamentu.

Funti e virìfica

Titularità editoriali: Feex. Nudda data di rivisioni nnipinnenti è riggistrata. Comu facemu i ricerchi.

• Intel Gaussian and Neural Accelerator library · Runtime/libbrirìa ufficiali GNA, supportu dâ ginirazzioni hardware e casi d'usu pi infirenza a vasciu cunsumu. Cunzulta lu sò statu di supportu attuali prima di scègghiri na nova distribbuzzioni.