AMX, Advanced Matrix Extensions

Yang perlu Anda ketahui

Cara kerjanya

AMX menggunakan register tile dua dimensi yang terkonfigurasi, bukan vektor YMM/ZMM biasa. Konfigurasi tile mendeskripsikan bentuk aktif, sementara ekstensi aritmetika seperti AMX-INT8 atau AMX-BF16 mendefinisikan operasi matriks dan format numerik tertentu. Perangkat lunak mengemas (pack) data dan memilih bentuk yang valid di bawah batas palet yang dienumerasi.

Manfaat penggunaan

Pustaka matriks dapat menurunkan kernel yang didukung ke dalam pemuatan tile, operasi dot-product, dan penyimpanan tile. Biaya pengemasan data, dimensi matriks, dan lokalitas cache dapat mendominasi pada beban kerja yang kecil atau tidak teratur. Perangkat keras tile tidak serta-merta membuat setiap operator jaringan saraf memenuhi syarat untuk akselerasi.

Cara memeriksa dukungan dan pengaktifan

Periksa AMX-TILE dan setiap ekstensi aritmetika yang diperlukan pada leaf 7 CPUID, enumerasi batas tile, dan konfirmasi status aktif OS. Pada Linux, aplikasi yang menggunakan data tile dinamis harus mengikuti alur ARCH_REQ_XCOMP_PERM yang terdokumentasi; dukungan dan bit XCR0 saja tidak cukup.

Ketersediaan perangkat keras hanyalah langkah awal. Driver, runtime, penyedia eksekusi, operator yang didukung, dan format numerik harus sesuai dengan aplikasi. Periksa pemilihan backend dan fallback yang sebenarnya daripada berasumsi bahwa label AI berarti setiap model diakselerasi.

Hal yang tidak dipastikan oleh fitur ini

AMX tidak berarti AVX-512, NPU umum, atau setiap format aritmetika AMX. Bit CPU saja tidak menetapkan izin proses atau status signal-stack yang memadai. Bentuk tile yang tidak didukung atau hilangnya izin OS dapat menimbulkan kesalahan (fault) bahkan pada mesin yang mendukung AMX.

Kompatibilitas dan performa dalam praktik

Bandingkan beban kerja lengkap dalam kondisi yang dinyatakan, termasuk kompilasi, transfer data, dan operator yang tidak didukung. Operasi puncak per detik bergantung pada presisi dan asumsi penghitungan. Hal tersebut bukan pengganti dari pengukuran latensi, throughput, energi, atau akurasi model.

Daftar periksa verifikasi praktis

1. Catat model prosesor atau platform yang tepat serta versi aplikasi, OS, dan runtime yang terlibat. Pertahankan kata-kata dari kesalahan atau persyaratan sebenarnya.
2. Periksa referensi produsen untuk model persis tersebut, lalu periksa kemampuan efektif dan status aktif di lingkungan tempat program berjalan.
3. Bandingkan setiap persyaratan dari biner atau backend yang dipilih. Fitur dengan nama serupa, alias, atau label teknologi umum tidaklah cukup.
4. Pastikan aplikasi memilih implementasi yang dimaksudkan. Gunakan diagnostik terdokumentasi miliknya dan alternatif cadangan yang didukung ketika persyaratan tidak terpenuhi.
5. Lakukan satu perubahan yang didukung pada satu waktu dan ulangi beban kerja yang sama. Pertahankan konfigurasi asli dan jalur pemulihan tetap tersedia.

Jika fitur terdaftar tetapi perangkat lunak tidak dapat menggunakannya

Mulailah dari komponen persis yang mengalami kegagalan. Basis data perangkat keras menjelaskan kemampuan yang tercatat; sistem operasi atau hipervisor dapat mengekspos lingkungan efektif yang berbeda. Kesalahan instruksi ilegal juga memerlukan penyelidikan terhadap instruksi bermasalah yang sebenarnya dan build biner, karena korupsi data atau instruksi tidak didukung yang tidak terkait dapat menghasilkan gejala serupa.

Pasang versi aplikasi, driver, atau runtime yang didukung untuk platform persis tersebut, dan gunakan build standar atau cadangan yang terdokumentasi dari vendor jika diperlukan. Pembaruan perangkat lunak tidak dapat menciptakan instruksi yang tidak dimiliki prosesor. Perubahan firmware dan kebijakan keamanan harus mengikuti prosedur produsen sistem serta rencana pemulihan, bukan resep optimasi umum.

Fitur terkait dan perbedaan yang berguna

AVX-VNNI · Deep Learning Boost · Neural Processing Unit (NPU) · XSAVE

Sumber dan cakupan penjelasan ini

Intel 64 and IA-32 Architectures Software Developer's Manual · Kernel Linux: penggunaan fitur XSTATE di ruang pengguna

Referensi ini menetapkan perilaku arsitektur dan persyaratan perangkat lunak. Referensi tersebut tidak memverifikasi secara independen setiap nilai fitur pada halaman model perangkat keras yang ditautkan. Untuk dukungan model, gunakan bukti produsen pada halaman tersebut dan periksa konfigurasi sistem efektif. Artikel ini tidak menyediakan tolok ukur, sertifikasi, atau tanggal tinjauan independen.

Terkait

Entitas-entitas ini terhubung ke artikel ini. Jenis ditampilkan di setiap tautan.

Sumber dan verifikasi

Kepemilikan editorial: Feex. Tidak ada tanggal peninjauan independen yang dicatat. Cara kami meneliti.

• Intel 64 and IA-32 Architectures Software Developer's Manual · Volume 1 dan 2 menjelaskan keluarga instruksi yang disebutkan serta CPUID; Volume 3 menjelaskan status, paging, VMX, dan kontrol proteksi. Dokumentasi arsitektur tidak menetapkan dukungan untuk model tertentu.
• Kernel Linux: penggunaan fitur XSTATE di ruang pengguna · Status vektor yang diaktifkan OS, status tile yang diaktifkan secara dinamis, persyaratan signal-stack, dan alur izin AMX. Perilaku khusus Linux bukanlah jaminan untuk OS lain.