AMX, Advanced Matrix Extensions

Bilmeniz gerekenler

Nasıl çalışır

AMX, sıradan YMM/ZMM vektörleri yerine yapılandırılmış iki boyutlu karo yazmaçlarını kullanır. Karo yapılandırması etkin şekilleri tanımlarken, AMX-INT8 veya AMX-BF16 gibi aritmetik uzantılar belirli matris işlemlerini ve sayısal biçimleri tanımlar. Yazılım verileri paketler ve numaralandırılmış palet sınırları altında geçerli şekilleri seçer.

Nerede yararlıdır

Bir matris kitaplığı, desteklenen bir çekirdeği karo yüklemelerine, iç çarpım işlemlerine ve karo depolamalarına dönüştürebilir. Paketleme maliyeti, matris boyutları ve önbellek yerelliği, küçük veya düzensiz iş yüklerine hakim olabilir. Karo donanımı, her sinir ağı operatörünü hızlandırma için uygun hale getirmez.

Destek ve etkinleştirme durumu nasıl kontrol edilir

CPUID yaprak 7'de AMX-TILE'ı ve gereken her aritmetik uzantıyı kontrol edin, karo sınırlarını numaralandırın ve işletim sistemi tarafından etkinleştirilmiş durumu onaylayın. Linux'ta dinamik karo verilerini kullanan uygulamalar belgelenmiş ARCH_REQ_XCOMP_PERM akışını izlemelidir; tek başına destek ve XCR0 bitleri yeterli değildir.

Donanım kullanılabilirliği yalnızca ilk adımdır. Sürücü, çalışma zamanı, yürütme sağlayıcısı, desteklenen operatörler ve sayısal biçim uygulamayla eşleşmelidir. Bir yapay zeka etiketinin her modelin hızlandırıldığı anlamına geldiğini varsaymak yerine gerçek arka uç seçimini ve geri dönüşü inceleyin.

Özelliğin sağlamadığı durumlar

AMX; AVX-512, genel bir NPU veya her AMX aritmetik biçimi anlamına gelmez. Tek başına bir CPU biti, süreç iznini veya yeterli sinyal yığını durumunu belirlemez. Desteklenmeyen karo şekilleri veya eksik işletim sistemi izni, AMX özellikli bir makinede bile hataya neden olabilir.

Uygulamada uyumluluk ve performans

Derleme, aktarımlar ve desteklenmeyen operatörler dahil olmak üzere belirtilen koşullar altında tam iş yüklerini karşılaştırın. Saniye başına en yüksek işlem sayısı, duyarlık ve sayım varsayımlarına bağlıdır. Ölçülen gecikme süresi, işleme hızı, enerji veya model doğruluğunun yerini tutmazlar.

Pratik bir doğrulama kontrol listesi

1. İlgili tam işlemci veya platform modelini ve uygulama, işletim sistemi ve çalışma zamanı sürümlerini kaydedin. Gerçek hatanın veya gereksinimin metnini koruyun.
2. Bu tam model için üretici referansını kontrol edin, ardından programın çalıştığı ortamda geçerli yeteneği ve etkinleştirilmiş durumu inceleyin.
3. Seçilen ikili dosyanın veya arka ucun her gereksinimini karşılaştırın. Benzer şekilde adlandırılmış bir özellik, diğer ad veya genel teknoloji etiketi yeterli değildir.
4. Uygulamanın hedeflenen uygulamayı seçtiğini onaylayın. Gereksinimler karşılanmadığında belgelenmiş tanılamalarını ve desteklenen bir geri dönüşü kullanın.
5. Her seferinde desteklenen bir değişiklik yapın ve aynı iş yükünü tekrarlayın. Orijinal yapılandırmayı ve kurtarma yolunu kullanılabilir durumda tutun.

Özellik listeleniyor ancak yazılım kullanamıyorsa

Hata veren tam bileşenle başlayın. Bir donanım veritabanı kayıtlı yeteneği açıklar; işletim sistemi veya hipervizör farklı bir geçerli ortam sunabilir. Geçersiz komut hatası, gerçek hatalı komutun ve ikili yapının da incelenmesini gerektirir, çünkü bozulma veya ilgisiz, desteklenmeyen bir komut benzer bir belirti üretebilir.

Tam platform için desteklenen uygulama, sürücü veya çalışma zamanı sürümünü yükleyin ve gerekirse satıcının belgelenmiş temel veya geri dönüş derlemesini kullanın. Bir yazılım güncellemesi, işlemcide eksik olan bir komutu oluşturamaz. Bellenim ve güvenlik politikası değişiklikleri, genel bir optimizasyon tarifi yerine sistem üreticisinin prosedürünü ve bir kurtarma planını izlemelidir.

İlgili özellikler ve yararlı ayrımlar

AVX-VNNI · Deep Learning Boost · Nöral İşlem Birimi (NPU) · XSAVE

Bu açıklamanın kaynakları ve kapsamı

Intel 64 ve IA-32 Mimarileri Yazılım Geliştirici Kılavuzu · Linux çekirdeği: kullanıcı alanında XSTATE özelliklerini kullanma

Bu referanslar mimari davranışı ve yazılım gereksinimlerini belirler. Bağlantılı bir donanım modeli sayfasındaki her özellik değerini bağımsız olarak doğrulamazlar. Model desteği için ilgili sayfanın üretici kanıtlarını kullanın ve geçerli sistem yapılandırmasını kontrol edin. Bu makale bir kıyaslama, sertifikasyon veya bağımsız inceleme tarihi sağlamaz.

İlgili

Bu varlıklar bu makaleyle bağlantılıdır. Tür her bağlantıda gösterilir.

Kaynaklar ve doğrulama

Editoryal mülkiyet: Feex. Bağımsız bir inceleme tarihi kaydedilmemiştir. Nasıl araştırıyoruz.

• Intel 64 ve IA-32 Mimarileri Yazılım Geliştirici Kılavuzu · Cilt 1 ve 2, adlandırılmış komut ailelerini ve CPUID'yi açıklar; Cilt 3, durum, sayfalama, VMX ve koruma denetimlerini açıklar. Mimari belgeleri belirli bir model için desteği doğrulamaz.
• Linux çekirdeği: kullanıcı alanında XSTATE özelliklerini kullanma · İşletim sistemi tarafından etkinleştirilen vektör durumu, dinamik olarak etkinleştirilen karo durumu, sinyal yığını gereksinimleri ve AMX izin akışı. Linux'a özgü davranış, başka bir işletim sistemi hakkında bir taahhüt değildir.