神经网络处理单元 (NPU)

您需要了解的内容

工作原理

NPU 运行时将模型划分为受支持的操作，选择数值表示，并在可用的加速器上调度工作。某些算子可能仍保留在 CPU 或 GPU 上。传输、同步、编译和模型加载都是完整执行路径的一部分。

适用场景

应用程序可以使用受支持的执行提供程序在 NPU 上运行符合条件的模型。如果计算图对关键算子静默回退，其表现可能与完全保留在加速器上的计算图截然不同，即便在同一设备上也是如此。

如何检查支持与启用状态

请明确具体的 NPU 型号和代际、受支持的操作系统驱动程序、运行时版本以及执行提供程序。通过实际模型检查算子支持、内存要求和回退诊断信息，而不能仅仅查看设备管理器条目。

硬件可用性仅仅是第一步。驱动程序、运行时、执行提供程序、受支持的算子和数值格式都必须与应用程序相匹配。请检查实际的后端选择和回退方案，而不是假设带有 AI 标签就意味着每个模型都能获得加速。

该特性未确立的内容

存在 NPU 并不意味着具备特定的 TOPS 数值、数值精度、稀疏性假设、受支持的模型大小或操作系统认证。在不同条件下测量的 TOPS 数据并不是可直接对比的应用程序基准测试指标。

实践中的兼容性与性能

在规定的条件下对比完整的负载，包括编译、传输和不受支持的算子。每秒峰值运算次数取决于精度和计数假设。它们不能替代所测得的延迟、吞吐量、能效或模型准确率。

实用验证核对清单

1. 记录所涉及的具体处理器或平台型号，以及应用程序、操作系统和运行时的版本。保留实际错误或要求的原始措辞。
2. 查阅该具体型号的制造商参考资料，然后检查程序运行环境中生效的功能与启用状态。
3. 逐项比对所选二进制文件或后端的每项要求。仅凭名称相似的特性、别名或宽泛的技术标签是不够的。
4. 确认应用程序选择了预期的实现。在不满足要求时，使用其文档中记录的诊断工具和受支持的回退方案。
5. 每次只进行一项受支持的更改并重复相同的负载测试。保留原始配置和恢复路径以便随时使用。

若特性已列出但软件无法使用

首先排查出现故障的具体组件。硬件数据库描述的是记录在案的功能；操作系统或虚拟机监控程序可能会呈现不同的生效环境。非法指令错误同样需要调查实际发生故障的指令和二进制构建版本，因为数据损坏或不相关的未受支持指令也可能产生类似症状。

安装适用于该特定平台的受支持应用程序、驱动程序或运行时版本，并在需要时使用厂商文档记录的基线或回退构建版本。软件更新无法凭空创造处理器缺失的指令。固件和安全策略的更改应遵循系统制造商的规程和恢复计划，而非通用的优化方案。

相关特性与实用区别

XDNA AI Engine · 高斯神经网络加速器 (Gaussian Neural Accelerator, GNA) · AMX，高级矩阵扩展

本说明的来源与适用范围

AMD XDNA 架构 · ONNX Runtime 执行提供程序

这些参考资料确立了架构行为和软件要求。它们并不独立验证关联硬件型号页面上的每个特性值。如需了解型号支持情况，请使用该页面的制造商证据并检查实际生效的系统配置。本文不提供基准测试、认证或独立审查日期。

相关内容

这些实体与本文相关联。每个链接上均显示类型。

来源与验证

编辑归属：Feex。未记录独立审核日期。 我们的研究方式.

• AMD XDNA 架构 · 基于切片的空间数据流架构、本地内存和 AI Engine 组件。通用的架构文本并不能确定某个型号的切片数量或 TOPS。
• ONNX Runtime 执行提供程序 · 执行提供程序架构、计算图划分和硬件特定集成。提供程序的存在并不能证明每个算子都被卸载处理。