Nöral İşlem Birimi (NPU)

Mimari referansıFeex

Bir NPU, genellikle verimli çıkarım vurgusuyla desteklenen sinir ağı iş yükleri için tasarlanmış bir işlemcidir. Bu genel etiket, evrensel bir komut setini veya uygulama uyumluluk standardını tanımlamaz.

Bilmeniz gerekenler

Nasıl çalışır

Bir NPU çalışma zamanı; bir modeli desteklenen işlemlere böler, sayısal gösterimleri seçer ve işleri mevcut hızlandırıcı üzerinde zamanlar. Bazı operatörler CPU veya GPU üzerinde kalabilir. Aktarımlar, senkronizasyon, derleme ve model yükleme, tam yürütme yolunun bir parçasıdır.

Nerede yararlıdır

Bir uygulama, uygun bir modeli NPU üzerinde çalıştırmak için desteklenen bir yürütme sağlayıcısı kullanabilir. Kritik bir operatör için sessizce geri dönüş yapan bir grafik, aynı aygıtta bile hızlandırıcı üzerinde kalan bir grafikten çok farklı davranabilir.

Destek ve etkinleştirme durumu nasıl kontrol edilir

Tam NPU modelini ve neslini, desteklenen işletim sistemi sürücüsünü, çalışma zamanı sürümünü ve yürütme sağlayıcısını belirleyin. Yalnızca bir aygıt yöneticisi girdisine bakmak yerine gerçek modelle operatör desteğini, bellek gereksinimlerini ve geri dönüş tanılamalarını kontrol edin.

Donanım kullanılabilirliği yalnızca ilk adımdır. Sürücü, çalışma zamanı, yürütme sağlayıcısı, desteklenen operatörler ve sayısal biçim uygulamayla eşleşmelidir. Bir yapay zeka etiketinin her modelin hızlandırıldığı anlamına geldiğini varsaymak yerine gerçek arka uç seçimini ve geri dönüşü inceleyin.

Özelliğin sağlamadığı durumlar

NPU varlığı; belirli bir TOPS değerini, sayısal kesinliği, seyreklik varsayımını, desteklenen model boyutunu veya işletim sistemi sertifikasını kanıtlamaz. Farklı koşullar altında ölçülen TOPS değerleri doğrudan karşılaştırılabilir uygulama kıyaslamaları değildir.

Uygulamada uyumluluk ve performans

Derleme, aktarımlar ve desteklenmeyen operatörler dahil olmak üzere belirtilen koşullar altında tam iş yüklerini karşılaştırın. Saniye başına en yüksek işlem sayısı, duyarlık ve sayım varsayımlarına bağlıdır. Ölçülen gecikme süresi, işleme hızı, enerji veya model doğruluğunun yerini tutmazlar.

Pratik bir doğrulama kontrol listesi

İlgili tam işlemci veya platform modelini ve uygulama, işletim sistemi ve çalışma zamanı sürümlerini kaydedin. Gerçek hatanın veya gereksinimin metnini koruyun.
Bu tam model için üretici referansını kontrol edin, ardından programın çalıştığı ortamda geçerli yeteneği ve etkinleştirilmiş durumu inceleyin.
Seçilen ikili dosyanın veya arka ucun her gereksinimini karşılaştırın. Benzer şekilde adlandırılmış bir özellik, diğer ad veya genel teknoloji etiketi yeterli değildir.
Uygulamanın hedeflenen uygulamayı seçtiğini onaylayın. Gereksinimler karşılanmadığında belgelenmiş tanılamalarını ve desteklenen bir geri dönüşü kullanın.
Her seferinde desteklenen bir değişiklik yapın ve aynı iş yükünü tekrarlayın. Orijinal yapılandırmayı ve kurtarma yolunu kullanılabilir durumda tutun.

Özellik listeleniyor ancak yazılım kullanamıyorsa

Hata veren tam bileşenle başlayın. Bir donanım veritabanı kayıtlı yeteneği açıklar; işletim sistemi veya hipervizör farklı bir geçerli ortam sunabilir. Geçersiz komut hatası, gerçek hatalı komutun ve ikili yapının da incelenmesini gerektirir, çünkü bozulma veya ilgisiz, desteklenmeyen bir komut benzer bir belirti üretebilir.

Tam platform için desteklenen uygulama, sürücü veya çalışma zamanı sürümünü yükleyin ve gerekirse satıcının belgelenmiş temel veya geri dönüş derlemesini kullanın. Bir yazılım güncellemesi, işlemcide eksik olan bir komutu oluşturamaz. Bellenim ve güvenlik politikası değişiklikleri, genel bir optimizasyon tarifi yerine sistem üreticisinin prosedürünü ve bir kurtarma planını izlemelidir.

Bu açıklamanın kaynakları ve kapsamı

AMD XDNA mimarisi · ONNX Runtime yürütme sağlayıcıları

Bu referanslar mimari davranışı ve yazılım gereksinimlerini belirler. Bağlantılı bir donanım modeli sayfasındaki her özellik değerini bağımsız olarak doğrulamazlar. Model desteği için ilgili sayfanın üretici kanıtlarını kullanın ve geçerli sistem yapılandırmasını kontrol edin. Bu makale bir kıyaslama, sertifikasyon veya bağımsız inceleme tarihi sağlamaz.

Kaynaklar ve doğrulama

Editoryal mülkiyet: Feex. Bağımsız bir inceleme tarihi kaydedilmemiştir. Nasıl araştırıyoruz.

AMD XDNA mimarisi · Döşeme tabanlı uzamsal veri akışı mimarisi, yerel bellekler ve AI Engine bileşenleri. Genel mimari metni bir modelin döşeme sayısını veya TOPS değerini belirlemez.
ONNX Runtime yürütme sağlayıcıları · Yürütme sağlayıcısı mimarisi, grafik bölme ve donanıma özgü entegrasyon. Sağlayıcı varlığı her operatörün harici birime aktarıldığını kanıtlamaz.

Bu makale yararlı oldu mu?

Evet veya hayır yeterlidir. İsterseniz bir neden seçin veya kısa bir not ekleyin.