Gaussian Neural Accelerator (GNA)

Mimari referansıFeex

Ayrıca Gaussian Neural Accelerator olarak da adlandırılır

Intel GNA (Gaussian and Neural Accelerator), uygun sürekli çıkarım iş yükleri için tasarlanmış düşük güçlü bir sinirsel yardımcı işlemcidir. CPU vektör buyruklarından ve daha yeni genel NPU tasarımlarından farklıdır.

Bilmeniz gerekenler

Nasıl çalışır

Desteklenen bir yazılım yığını, uygun sinir ağı işlerini sürücüsü ve çalışma zamanı aracılığıyla hızlandırıcıya gönderir. Model yapısı, desteklenen işlemler ve sayısal gösterim nelerin devredilebileceğini belirler. CPU yine de hazırlık, desteklenmeyen işlemler ve uygulama denetimine katılır.

Nerede yararlıdır

Model ve çalışma zamanı mevcut GNA neslini desteklediğinde gürültü bastırma veya konuşma odaklı çıkarım aday olabilir. Yalnızca yapay zeka kullanan bir uygulama yüklemek, uygulamanın GNA'yı hedeflediği veya CPU yürütmesinden kaçındığı anlamına gelmez.

Destek ve etkinleştirme durumu nasıl kontrol edilir

Platformun GNA aygıtını ve desteklenen sürücüsünü/çalışma zamanını belirleyin, ardından resmi proje belgelerindeki model operatörü ve nesil gereksinimlerine başvurun. Yalnızca aygıt varlığına dayanarak işin devredildiğini varsaymak yerine donanım yürütmesini doğrulamak için çalışma zamanı tanılamalarını kullanın.

Donanım kullanılabilirliği yalnızca ilk adımdır. Sürücü, çalışma zamanı, yürütme sağlayıcısı, desteklenen operatörler ve sayısal biçim uygulamayla eşleşmelidir. Bir yapay zeka etiketinin her modelin hızlandırıldığı anlamına geldiğini varsaymak yerine gerçek arka uç seçimini ve geri dönüşü inceleyin.

Özelliğin sağlamadığı durumlar

Bir GNA alanı; rastgele büyük dil modelleri, belirli bir NPU TOPS gereksinimi veya bir çalışma zamanının her sürümü için destek kanıtı değildir. Tam neslin yetenekleri ve yazılım desteği kontrol edilmelidir ve yalnızca yazılımla yapılan geri dönüşler güç davranışını değiştirebilir.

Uygulamada uyumluluk ve performans

Derleme, aktarımlar ve desteklenmeyen operatörler dahil olmak üzere belirtilen koşullar altında tam iş yüklerini karşılaştırın. Saniye başına en yüksek işlem sayısı, duyarlık ve sayım varsayımlarına bağlıdır. Ölçülen gecikme süresi, işleme hızı, enerji veya model doğruluğunun yerini tutmazlar.

Pratik bir doğrulama kontrol listesi

İlgili tam işlemci veya platform modelini ve uygulama, işletim sistemi ve çalışma zamanı sürümlerini kaydedin. Gerçek hatanın veya gereksinimin metnini koruyun.
Bu tam model için üretici referansını kontrol edin, ardından programın çalıştığı ortamda geçerli yeteneği ve etkinleştirilmiş durumu inceleyin.
Seçilen ikili dosyanın veya arka ucun her gereksinimini karşılaştırın. Benzer şekilde adlandırılmış bir özellik, diğer ad veya genel teknoloji etiketi yeterli değildir.
Uygulamanın hedeflenen uygulamayı seçtiğini onaylayın. Gereksinimler karşılanmadığında belgelenmiş tanılamalarını ve desteklenen bir geri dönüşü kullanın.
Her seferinde desteklenen bir değişiklik yapın ve aynı iş yükünü tekrarlayın. Orijinal yapılandırmayı ve kurtarma yolunu kullanılabilir durumda tutun.

Özellik listeleniyor ancak yazılım kullanamıyorsa

Hata veren tam bileşenle başlayın. Bir donanım veritabanı kayıtlı yeteneği açıklar; işletim sistemi veya hipervizör farklı bir geçerli ortam sunabilir. Geçersiz komut hatası, gerçek hatalı komutun ve ikili yapının da incelenmesini gerektirir, çünkü bozulma veya ilgisiz, desteklenmeyen bir komut benzer bir belirti üretebilir.

Tam platform için desteklenen uygulama, sürücü veya çalışma zamanı sürümünü yükleyin ve gerekirse satıcının belgelenmiş temel veya geri dönüş derlemesini kullanın. Bir yazılım güncellemesi, işlemcide eksik olan bir komutu oluşturamaz. Bellenim ve güvenlik politikası değişiklikleri, genel bir optimizasyon tarifi yerine sistem üreticisinin prosedürünü ve bir kurtarma planını izlemelidir.

Bu açıklamanın kaynakları ve kapsamı

Intel Gaussian and Neural Accelerator library

Bu referanslar mimari davranışı ve yazılım gereksinimlerini belirler. Bağlantılı bir donanım modeli sayfasındaki her özellik değerini bağımsız olarak doğrulamazlar. Model desteği için ilgili sayfanın üretici kanıtlarını kullanın ve geçerli sistem yapılandırmasını kontrol edin. Bu makale bir kıyaslama, sertifikasyon veya bağımsız inceleme tarihi sağlamaz.

Kaynaklar ve doğrulama

Editoryal mülkiyet: Feex. Bağımsız bir inceleme tarihi kaydedilmemiştir. Nasıl araştırıyoruz.

Intel Gaussian and Neural Accelerator library · Resmi GNA çalışma zamanı/kütüphanesi, donanım nesli desteği ve düşük güçlü çıkarım kullanım durumları. Yeni bir dağıtım seçmeden önce mevcut destek durumuna başvurun.

Bu makale yararlı oldu mu?

Evet veya hayır yeterlidir. İsterseniz bir neden seçin veya kısa bir not ekleyin.