Deep Learning Boost

Bilmeniz gerekenler

Nasıl çalışır

Bu etiketle tanımlanan ürünler, vektör iç çarpımı ve diğer hızlandırma olanaklarının farklı kombinasyonlarını sunabilir. Bir yazılım kütüphanesi çekirdekleri fiili genişletmelere, sayısal biçimlere ve işletim sistemi tarafından etkinleştirilmiş duruma göre seçer. Etiket, tek bir işlem kodundan (opcode) veya taşınabilir bir ikili taban çizgisinden daha geniştir.

Nerede yararlıdır

Bir çıkarım çalışma zamanı, desteklenen bir model işlemi için kuantalanmış bir iç çarpım çekirdeği seçebilir. Seçilen yürütme sağlayıcısı, veri hassasiyeti, işleç kapsamı ve paketleme, uygulamanın işlemci özelliğini uygulamada kullanıp kullanmadığını belirler.

Destek ve etkinleştirme durumu nasıl kontrol edilir

Tam modelin üretici teknik özelliklerine bakın, ardından çalışma zamanı tarafından gerekli kılınan komut genişletmelerini numaralandırın. Seçilen çekirdek/arka uç için tanılama çıktısını kontrol edin ve ilgili işletim sistemi vektör veya döşeme (tile) durumunun etkinleştirildiğini doğrulayın.

Donanım kullanılabilirliği yalnızca ilk adımdır. Sürücü, çalışma zamanı, yürütme sağlayıcısı, desteklenen operatörler ve sayısal biçim uygulamayla eşleşmelidir. Bir yapay zeka etiketinin her modelin hızlandırıldığı anlamına geldiğini varsaymak yerine gerçek arka uç seçimini ve geri dönüşü inceleyin.

Özelliğin sağlamadığı durumlar

Yalnızca bu pazarlama alanından AVX-512 VNNI, AVX-VNNI, BF16, AMX veya bir NPU çıkarmayın. Belirli bir hassasiyetteki saniye başına en yüksek işlem sayısı, uçtan uca çıkarım hızı veya model doğruluğu ile birbirinin yerine kullanılamaz.

Uygulamada uyumluluk ve performans

Derleme, aktarımlar ve desteklenmeyen operatörler dahil olmak üzere belirtilen koşullar altında tam iş yüklerini karşılaştırın. Saniye başına en yüksek işlem sayısı, duyarlık ve sayım varsayımlarına bağlıdır. Ölçülen gecikme süresi, işleme hızı, enerji veya model doğruluğunun yerini tutmazlar.

Pratik bir doğrulama kontrol listesi

1. İlgili tam işlemci veya platform modelini ve uygulama, işletim sistemi ve çalışma zamanı sürümlerini kaydedin. Gerçek hatanın veya gereksinimin metnini koruyun.
2. Bu tam model için üretici referansını kontrol edin, ardından programın çalıştığı ortamda geçerli yeteneği ve etkinleştirilmiş durumu inceleyin.
3. Seçilen ikili dosyanın veya arka ucun her gereksinimini karşılaştırın. Benzer şekilde adlandırılmış bir özellik, diğer ad veya genel teknoloji etiketi yeterli değildir.
4. Uygulamanın hedeflenen uygulamayı seçtiğini onaylayın. Gereksinimler karşılanmadığında belgelenmiş tanılamalarını ve desteklenen bir geri dönüşü kullanın.
5. Her seferinde desteklenen bir değişiklik yapın ve aynı iş yükünü tekrarlayın. Orijinal yapılandırmayı ve kurtarma yolunu kullanılabilir durumda tutun.

Özellik listeleniyor ancak yazılım kullanamıyorsa

Hata veren tam bileşenle başlayın. Bir donanım veritabanı kayıtlı yeteneği açıklar; işletim sistemi veya hipervizör farklı bir geçerli ortam sunabilir. Geçersiz komut hatası, gerçek hatalı komutun ve ikili yapının da incelenmesini gerektirir, çünkü bozulma veya ilgisiz, desteklenmeyen bir komut benzer bir belirti üretebilir.

Tam platform için desteklenen uygulama, sürücü veya çalışma zamanı sürümünü yükleyin ve gerekirse satıcının belgelenmiş temel veya geri dönüş derlemesini kullanın. Bir yazılım güncellemesi, işlemcide eksik olan bir komutu oluşturamaz. Bellenim ve güvenlik politikası değişiklikleri, genel bir optimizasyon tarifi yerine sistem üreticisinin prosedürünü ve bir kurtarma planını izlemelidir.

İlgili özellikler ve yararlı ayrımlar

AVX-VNNI · AVX-512 · AMX, Advanced Matrix Extensions · Nöral İşlem Birimi (NPU)

Bu açıklamanın kaynakları ve kapsamı

Intel: AVX-512 ve DL Boost ile derin öğrenme · Intel 64 ve IA-32 Mimarileri Yazılım Geliştirici Kılavuzu

Bu referanslar mimari davranışı ve yazılım gereksinimlerini belirler. Bağlantılı bir donanım modeli sayfasındaki her özellik değerini bağımsız olarak doğrulamazlar. Model desteği için ilgili sayfanın üretici kanıtlarını kullanın ve geçerli sistem yapılandırmasını kontrol edin. Bu makale bir kıyaslama, sertifikasyon veya bağımsız inceleme tarihi sağlamaz.

İlgili

Bu varlıklar bu makaleyle bağlantılıdır. Tür her bağlantıda gösterilir.

Kaynaklar ve doğrulama

Editoryal mülkiyet: Feex. Bağımsız bir inceleme tarihi kaydedilmemiştir. Nasıl araştırıyoruz.

• Intel: AVX-512 ve DL Boost ile derin öğrenme · VNNI tabanlı hızlandırmayı açıklar. Kesin komut seti yine de bağımsız işlemciye ve çalışma zamanına göre kontrol edilmelidir.
• Intel 64 ve IA-32 Mimarileri Yazılım Geliştirici Kılavuzu · Cilt 1 ve 2, adlandırılmış komut ailelerini ve CPUID'yi açıklar; Cilt 3, durum, sayfalama, VMX ve koruma denetimlerini açıklar. Mimari belgeleri belirli bir model için desteği doğrulamaz.