Neural Processing Unit (NPU)

Yang perlu Anda ketahui

Cara kerjanya

Runtime NPU mempartisi model ke dalam operasi yang didukung, memilih representasi numerik, dan menjadwalkan pekerjaan pada akselerator yang tersedia. Beberapa operator mungkin tetap berada pada CPU atau GPU. Transfer, sinkronisasi, kompilasi, dan pemuatan model merupakan bagian dari seluruh jalur eksekusi.

Manfaat penggunaan

Aplikasi dapat menggunakan execution provider yang didukung untuk menjalankan model yang memenuhi syarat pada NPU. Graph yang secara senyap beralih ke fallback untuk operator penting dapat berperilaku sangat berbeda dari graph yang tetap berada pada akselerator, bahkan pada perangkat yang sama.

Cara memeriksa dukungan dan pengaktifan

Identifikasi model dan generasi NPU yang tepat, driver OS yang didukung, versi runtime, dan execution provider. Periksa dukungan operator, persyaratan memori, dan diagnostik fallback dengan model aktual, bukan hanya entri pengelola perangkat (device manager).

Ketersediaan perangkat keras hanyalah langkah awal. Driver, runtime, penyedia eksekusi, operator yang didukung, dan format numerik harus sesuai dengan aplikasi. Periksa pemilihan backend dan fallback yang sebenarnya daripada berasumsi bahwa label AI berarti setiap model diakselerasi.

Hal yang tidak dipastikan oleh fitur ini

Keberadaan NPU tidak menetapkan nilai TOPS tertentu, presisi numerik, asumsi spasialitas/sparsity, ukuran model yang didukung, atau sertifikasi OS. Angka TOPS yang diukur dalam kondisi berbeda bukan merupakan tolok ukur aplikasi yang dapat dibandingkan secara langsung.

Kompatibilitas dan performa dalam praktik

Bandingkan beban kerja lengkap dalam kondisi yang dinyatakan, termasuk kompilasi, transfer data, dan operator yang tidak didukung. Operasi puncak per detik bergantung pada presisi dan asumsi penghitungan. Hal tersebut bukan pengganti dari pengukuran latensi, throughput, energi, atau akurasi model.

Daftar periksa verifikasi praktis

1. Catat model prosesor atau platform yang tepat serta versi aplikasi, OS, dan runtime yang terlibat. Pertahankan kata-kata dari kesalahan atau persyaratan sebenarnya.
2. Periksa referensi produsen untuk model persis tersebut, lalu periksa kemampuan efektif dan status aktif di lingkungan tempat program berjalan.
3. Bandingkan setiap persyaratan dari biner atau backend yang dipilih. Fitur dengan nama serupa, alias, atau label teknologi umum tidaklah cukup.
4. Pastikan aplikasi memilih implementasi yang dimaksudkan. Gunakan diagnostik terdokumentasi miliknya dan alternatif cadangan yang didukung ketika persyaratan tidak terpenuhi.
5. Lakukan satu perubahan yang didukung pada satu waktu dan ulangi beban kerja yang sama. Pertahankan konfigurasi asli dan jalur pemulihan tetap tersedia.

Jika fitur terdaftar tetapi perangkat lunak tidak dapat menggunakannya

Mulailah dari komponen persis yang mengalami kegagalan. Basis data perangkat keras menjelaskan kemampuan yang tercatat; sistem operasi atau hipervisor dapat mengekspos lingkungan efektif yang berbeda. Kesalahan instruksi ilegal juga memerlukan penyelidikan terhadap instruksi bermasalah yang sebenarnya dan build biner, karena korupsi data atau instruksi tidak didukung yang tidak terkait dapat menghasilkan gejala serupa.

Pasang versi aplikasi, driver, atau runtime yang didukung untuk platform persis tersebut, dan gunakan build standar atau cadangan yang terdokumentasi dari vendor jika diperlukan. Pembaruan perangkat lunak tidak dapat menciptakan instruksi yang tidak dimiliki prosesor. Perubahan firmware dan kebijakan keamanan harus mengikuti prosedur produsen sistem serta rencana pemulihan, bukan resep optimasi umum.

Fitur terkait dan perbedaan yang berguna

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Sumber dan cakupan penjelasan ini

Arsitektur AMD XDNA · Execution provider ONNX Runtime

Referensi ini menetapkan perilaku arsitektur dan persyaratan perangkat lunak. Referensi tersebut tidak memverifikasi secara independen setiap nilai fitur pada halaman model perangkat keras yang ditautkan. Untuk dukungan model, gunakan bukti produsen pada halaman tersebut dan periksa konfigurasi sistem efektif. Artikel ini tidak menyediakan tolok ukur, sertifikasi, atau tanggal tinjauan independen.

Terkait

Entitas-entitas ini terhubung ke artikel ini. Jenis ditampilkan di setiap tautan.

Sumber dan verifikasi

Kepemilikan editorial: Feex. Tidak ada tanggal peninjauan independen yang dicatat. Cara kami meneliti.

• Arsitektur AMD XDNA · Arsitektur dataflow spasial berbasis tile, memori lokal, dan komponen AI Engine. Teks arsitektur generik tidak menentukan jumlah tile atau TOPS suatu model.
• Execution provider ONNX Runtime · Arsitektur execution-provider, partisi graph, dan integrasi spesifik perangkat keras. Keberadaan provider tidak membuktikan bahwa setiap operator di-offload.