Unidad de procesamiento neuronal (NPU)

Lo que necesita saber

Cómo funciona

Un entorno de ejecución de NPU divide un modelo en operaciones admitidas, elige representaciones numéricas y planifica el trabajo en el acelerador disponible. Algunos operadores pueden permanecer en la CPU o en la GPU. Las transferencias, la sincronización, la compilación y la carga del modelo forman parte de la ruta completa de ejecución.

Dónde resulta útil

Una aplicación puede utilizar un proveedor de ejecución admitido para ejecutar un modelo apto en la NPU. Un grafo que recurre silenciosamente a un método alternativo para un operador crítico puede comportarse de forma muy diferente a uno que permanece en el acelerador, incluso en el mismo dispositivo.

Cómo comprobar la compatibilidad y la habilitación

Identifique el modelo y la generación exactos de la NPU, el controlador del SO admitido, la versión del entorno de ejecución y el proveedor de ejecución. Compruebe la compatibilidad de operadores, los requisitos de memoria y los diagnósticos de soluciones alternativas con el modelo real, no solo con una entrada del administrador de dispositivos.

La disponibilidad de hardware es solo el primer paso. El controlador, el entorno de ejecución, el proveedor de ejecución, los operadores admitidos y el formato numérico deben coincidir con la aplicación. Inspeccione la selección real del backend y las opciones de contingencia en lugar de asumir que una etiqueta de IA significa que todos los modelos se aceleran.

Lo que la función no establece

La presencia de una NPU no establece un valor determinado de TOPS, precisión numérica, presuposición de dispersión, tamaño de modelo admitido o certificación de SO. Las cifras de TOPS medidas en condiciones diferentes no son pruebas de rendimiento de aplicaciones directamente comparables.

Compatibilidad y rendimiento en la práctica

Compare cargas de trabajo completas bajo condiciones explícitas, incluidas la compilación, las transferencias y los operadores no admitidos. El valor máximo de operaciones por segundo depende de la precisión y de los supuestos de cálculo. No reemplaza las mediciones de latencia, rendimiento, consumo de energía o precisión del modelo.

Lista de comprobación práctica para la verificación

1. Registre el modelo exacto de procesador o plataforma, así como las versiones de la aplicación, el sistema operativo y el entorno de ejecución involucrados. Conserve la redacción del error o requisito real.
2. Consulte la referencia del fabricante para ese modelo exacto y, a continuación, inspeccione la capacidad efectiva y el estado habilitado en el entorno donde se ejecuta el programa.
3. Compare cada requisito del binario o backend seleccionado. Una función con nombre similar, un alias o una etiqueta de tecnología general no son suficientes.
4. Confirme que la aplicación haya seleccionado la implementación prevista. Utilice sus diagnósticos documentados y una alternativa compatible cuando no se cumplan los requisitos.
5. Realice un cambio admitido a la vez y repita la misma carga de trabajo. Mantenga disponibles la configuración original y la vía de recuperación.

Si la función aparece listada pero el software no puede usarla

Comience con el componente exacto que falla. Una base de datos de hardware describe la capacidad registrada; el sistema operativo o el hipervisor pueden exponer un entorno efectivo diferente. Un error de instrucción no válida también requiere investigar la instrucción que generó el fallo y la compilación del binario en sí, ya que la corrupción o una instrucción no compatible no relacionada pueden producir un síntoma similar.

Instale la versión de la aplicación, controlador o entorno de ejecución compatible con la plataforma exacta, y utilice la compilación de referencia o de contingencia documentada por el fabricante si es necesario. Una actualización de software no puede crear una instrucción de la que el procesador carece. Los cambios de firmware y directivas de seguridad deben seguir el procedimiento del fabricante del sistema y un plan de recuperación, en lugar de una fórmula de optimización genérica.

Funciones relacionadas y distinciones útiles

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Fuentes y alcance de esta explicación

Arquitectura AMD XDNA · Proveedores de ejecución de ONNX Runtime

Estas referencias establecen el comportamiento arquitectónico y los requisitos de software. No verifican de forma independiente cada valor de función en la página de un modelo de hardware vinculado. Para conocer la compatibilidad de un modelo, consulte las pruebas del fabricante en dicha página y compruebe la configuración efectiva del sistema. Este artículo no proporciona una prueba de rendimiento, certificación ni fecha de revisión independiente.

Relacionado

Estas entidades se conectan a este artículo. El tipo se muestra en cada enlace.

Fuentes y verificación

Titularidad editorial: Feex. No se registra ninguna fecha de revisión independiente. Cómo investigamos.

• Arquitectura AMD XDNA · Arquitectura de flujo de datos espacial basada en mosaicos, memorias locales y componentes de AI Engine. El texto genérico de la arquitectura no establece el recuento de mosaicos ni los TOPS de un modelo.
• Proveedores de ejecución de ONNX Runtime · Arquitectura del proveedor de ejecución, partición de grafos e integración específica para el hardware. La presencia del proveedor no demuestra que todos los operadores se descarguen en el hardware.