神經網路處理單元 (NPU)

您需要瞭解的資訊

運作方式

NPU 執行階段會將模型分割為受支援的運算、選擇數值表示法，並將工作排程至可用的加速器上。某些運算子可能仍留在 CPU 或 GPU 上執行。傳輸、同步、編譯與模型載入都是完整執行路徑的一部分。

適用場景

應用程式可以使用受支援的執行提供者在 NPU 上執行符合條件的模型。若計算圖中的關鍵運算子無訊息地退回到備用方案，其表現可能與完全停留在加速器上的計算圖大相逕庭，即使在同一裝置上亦然。

如何檢查支援與啟用狀態

請確認確切的 NPU 型號與世代、受支援的作業系統驅動程式、執行階段版本以及執行提供者。請使用實際模型檢查運算子支援度、記憶體需求與備用方案診斷資訊，而不僅僅查看裝置管理員項目。

具備硬體只是第一步。驅動程式、執行階段、執行提供者、受支援運算子和數值格式必須與應用程式相符。請檢查實際的後端選擇和後備機制，而非假設有 AI 標籤就意味著每個模型都能獲得加速。

該功能未涵蓋的範疇

存在 NPU 並不代表具備特定的 TOPS 數值、數值精度、稀疏性假設、受支援的模型大小或作業系統認證。在不同條件下測得的 TOPS 數值並不能直接作為應用程式基準測試進行比較。

實務中的相容性與效能

在規定條件下比較完整的工作負載，包括編譯、傳輸和不受支援的運算子。每秒峰值運算次數取決於精度和計數假設。它們不能替代測得的延遲、輸送量、能耗或模型準確度。

實用驗證檢查清單

1. 記錄所涉及的確切處理器或平台型號，以及應用程式、OS 和執行階段版本。保留實際錯誤或需求的確切措辭。
2. 檢查該確切型號的原廠參考資料，然後在程式執行的環境中檢查有效功能和啟用狀態。
3. 比對所選二進位檔或後端的所有需求。僅憑名稱相似的功能、別名或廣泛的技術標籤是不夠的。
4. 確認應用程式已選擇預期的實作方式。當需求未獲滿足時，請使用其記載的診斷工具和受支援的後備機制。
5. 一次進行一項受支援的變更，並重複執行相同的負載。隨時保留原始設定和復原途徑。

如果列出該功能但軟體無法使用

從確切發生失敗的元件著手。硬體資料庫描述的是記錄的硬體能力；作業系統或 Hypervisor 可能呈現不同的有效環境。非法指令錯誤同樣需要調查實際出錯的指令和二進位建置版本，因為損毀或無關的不受支援指令也可能產生類似的症狀。

安裝適用於該確切平台的受支援應用程式、驅動程式或執行階段版本，並在需要時使用廠商記載的基準建置版本或後備建置版本。軟體更新無法無中生有地創造處理器所缺乏的指令。韌體與安全性原則的變更應遵循系統製造商的程序和復原計劃，而非泛用的最佳化偏方。

相關功能與實用區別

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX，進階矩陣擴充

本說明的來源與範圍

AMD XDNA 架構 · ONNX Runtime 執行提供者

這些參考資料確立了架構行為和軟體需求。它們不會獨立驗證連結硬體型號頁面上的每個功能數值。有關型號支援，請使用該頁面的製造商實證並檢查有效系統組態。本文不提供效能基準測試、認證或獨立審查日期。

相關項目

這些實體與本文連結。每個連結上都會顯示類型。

來源與驗證

編輯權限：Feex。未記錄獨立審查日期。 我們的研究方式.

• AMD XDNA 架構 · 以磚為基礎的空間資料流架構、本機記憶體與 AI Engine 元件。通用的架構文字不能確定特定型號的磚數量或 TOPS。
• ONNX Runtime 執行提供者 · 執行提供者架構、計算圖分割與特定硬體的整合。存在提供者並不證明所有運算子都已被卸載。