Unité de traitement neuronal (NPU)

Ce que vous devez savoir

Comment ça marche

Un environnement d'exécution de NPU partitionne un modèle en opérations prises en charge, choisit les représentations numériques et ordonnance le travail sur l'accélérateur disponible. Certains opérateurs peuvent rester exécutés sur le processeur ou le GPU. Les transferts, la synchronisation, la compilation et le chargement du modèle font partie intégrante du chemin d'exécution complet.

Domaines d'utilité

Une application peut utiliser un fournisseur d'exécution pris en charge pour exécuter un modèle éligible sur le NPU. Un graphe qui bascule silencieusement sur une solution de repli pour un opérateur critique peut avoir un comportement très différent d'un graphe intégralement traité sur l'accélérateur, même sur un même appareil.

Comment vérifier la prise en charge et l'activation

Identifiez le modèle et la génération exacts du NPU, le pilote de système d'exploitation pris en charge, la version du moteur d'exécution et le fournisseur d'exécution. Vérifiez la prise en charge des opérateurs, les besoins en mémoire et les diagnostics de repli avec le modèle réel, et non à l'aide d'une simple entrée dans le gestionnaire de périphériques.

La disponibilité matérielle n'est que la première étape. Le pilote, le runtime, le fournisseur d'exécution, les opérateurs pris en charge et le format numérique doivent correspondre à l'application. Examinez la sélection réelle du backend et la solution de repli plutôt que de supposer qu'une étiquette IA signifie que chaque modèle est accéléré.

Ce que la fonctionnalité n'établit pas

La présence d'un NPU n'établit pas une valeur spécifique de TOPS, une précision numérique, une hypothèse de sparsité, une taille de modèle prise en charge ou une certification du système d'exploitation. Les valeurs de TOPS mesurées dans des conditions différentes ne constituent pas des benchmarks applicatifs directement comparables.

Compatibilité et performances en pratique

Comparez des charges de travail complètes dans des conditions établies, incluant la compilation, les transferts et les opérateurs non pris en charge. Les opérations par seconde de pointe dépendent de la précision et des hypothèses de comptage. Elles ne remplacent pas la latence mesurée, le débit, l'énergie ou la précision du modèle.

Une liste de contrôle pratique pour la vérification

1. Enregistrez le modèle exact de processeur ou de plateforme ainsi que les versions de l'application, du système d'exploitation et du runtime concernés. Conservez la formulation de l'erreur ou de l'exigence réelle.
2. Consultez la référence du fabricant pour ce modèle exact, puis inspectez la capacité effective et l'état activé dans l'environnement où le programme s'exécute.
3. Comparez chaque exigence du binaire ou du backend sélectionné. Une fonctionnalité au nom similaire, un alias ou une étiquette technologique générale ne suffisent pas.
4. Confirmez que l'application a sélectionné l'implémentation prévue. Utilisez ses diagnostics documentés et une solution de repli prise en charge lorsque les exigences ne sont pas satisfaites.
5. Effectuez une seule modification prise en charge à la fois et répétez la même charge de travail. Gardez la configuration d'origine et une procédure de récupération disponibles.

Si la fonctionnalité est répertoriée mais que le logiciel ne peut pas l'utiliser

Commencez par le composant exact en échec. Une base de données matérielle décrit une capacité enregistrée ; le système d'exploitation ou l'hyperviseur peut exposer un environnement effectif différent. Une erreur d'instruction non autorisée nécessite également d'examiner l'instruction fautive réelle et le binaire compilé, car une corruption ou une instruction non prise en charge sans rapport peut produire un symptôme similaire.

Installez la version de l'application, du pilote ou du runtime prise en charge pour la plateforme exacte, et utilisez la version de référence ou de secours documentée par le fournisseur si nécessaire. Une mise à jour logicielle ne peut pas créer une instruction dont le processeur est dépourvu. Les modifications de micrologiciel et de politique de sécurité doivent suivre la procédure du fabricant du système et un plan de récupération plutôt qu'une recette d'optimisation générique.

Fonctionnalités associées et distinctions utiles

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Sources et portée de cette explication

Architecture AMD XDNA · Fournisseurs d'exécution d'ONNX Runtime

Ces références établissent le comportement architectural et les exigences logicielles. Elles ne vérifient pas de manière indépendante chaque valeur de fonctionnalité sur la page d'un modèle matériel associé. Pour la prise en charge d'un modèle, utilisez les preuves du fabricant fournies sur cette page et vérifiez la configuration effective du système. Cet article ne fournit pas de benchmark, de certification ou de date d'évaluation indépendante.

Associé

Ces entités sont liées à cet article. Le type est affiché sur chaque lien.

Sources et vérification

Responsabilité éditoriale : Feex. Aucune date de révision indépendante n'est enregistrée. Notre méthodologie de recherche.

• Architecture AMD XDNA · Architecture de flux de données spatial à base de tuiles, mémoires locales et composants AI Engine. Le texte d'architecture générique n'établit pas le nombre de tuiles d'un modèle ni les TOPS.
• Fournisseurs d'exécution d'ONNX Runtime · Architecture du fournisseur d'exécution, partitionnement de graphe et intégration propre au matériel. La présence d'un fournisseur ne prouve pas que chaque opérateur fait l'objet d'un déchargement.