Przejdź do treści

AVX-VNNI

Dokumentacja architekturyFeex

AVX-VNNI udostępnia zakodowane w VEX wektorowe instrukcje iloczynu skalarnego, używane przez odpowiednie jądra wnioskowania całkowitoliczbowego i przetwarzania sygnałów. Różni się ono od AVX-512 VNNI oraz od NPU.

Co musisz wiedzieć

AVX-VNNI udostępnia zakodowane w VEX wektorowe instrukcje iloczynu skalarnego, używane przez odpowiednie jądra wnioskowania całkowitoliczbowego i przetwarzania sygnałów. Różni się ono od AVX-512 VNNI oraz od NPU.

Jak to działa

Oryginalne rozszerzenie AVX-VNNI obejmuje operacje mnożenia z akumulacją na bajtach i słowach w wektorach 128-bitowych lub 256-bitowych. Na przykład VPDPBUSD mnoży bajty bez znaku przez bajty ze znakiem, sumuje grupy do podwójnych słów i akumuluje w miejscu docelowym. Warianty nasycające mają własne zachowanie przy przepełnieniu. Kwantyzacja i znakowość muszą odpowiadać wybranej operacji.

Gdzie funkcja jest przydatna

Biblioteka sieci neuronowych może używać tych iloczynów skalarnych dla skwantyzowanego jądra macierzowego po upakowaniu wag i wybraniu odpowiedniej implementacji wykonawczej. Konwersja danych, skale, punkty zerowe i przesyłanie pamięci nadal mają znaczenie. Szybszy iloczyn wewnętrzny nie przesądza o dokładności modelu ani opóźnieniach aplikacji w całym procesie przetwarzania.

Jak sprawdzać obsługę i włączenie

Sprawdź włączony stan AVX, a następnie bit 4 w CPUID.07H.01H:EAX dla oryginalnego rozszerzenia AVX-VNNI, po uprzednim zweryfikowaniu obsługiwanych zakresów liści i podliści. Sprawdź osobne bity dla późniejszych wariantów. Upewnij się, że biblioteka wybrała odpowiadającą jej ścieżkę VEX zamiast ścieżki AVX-512.

Program musi zarówno zawierać odpowiednią implementację, jak i dokonać jej wyboru w czasie działania. Enumeracja sprzętowa, stan rejestrów włączony przez system operacyjny oraz skompilowany poziom bazowy pliku binarnego to osobne kwestie do zweryfikowania. Maszyna wirtualna może celowo udostępniać mniej funkcji niż jej host, a kontener nie dodaje instrukcji do procesora hosta.

Czego ta funkcja nie określa

AVX-VNNI nie implikuje AVX-512, AMX, każdego późniejszego rozszerzenia VNNI ani obsługi każdego typu całkowitoliczbowego. AVX-VNNI-INT8 i AVX-VNNI-INT16 mają oddzielną enumerację funkcji i nie wolno ich wnioskować na podstawie oryginalnego bitu AVX-VNNI.

Zgodność i wydajność w praktyce

Należy mierzyć całe obciążenie robocze przy użyciu reprezentatywnych danych. Szersze wektory mogą zmniejszyć liczbę instrukcji, pozostawiając ruch w pamięci, synchronizację lub koszty konwersji na niezmienionym poziomie. Opóźnienie instrukcji, przepustowość i profil poboru energii zależą od dokładnej mikroarchitektury oraz warunków pracy.

Praktyczna lista kontrolna weryfikacji

  1. Zanotuj dokładny model procesora lub platformy oraz wersje używanej aplikacji, systemu operacyjnego i środowiska wykonawczego. Zachowaj dokładne sformułowanie błędu lub wymagania.
  2. Sprawdź dokumentację producenta dla danego modelu, a następnie zweryfikuj faktyczne możliwości i stan włączenia w środowisku, w którym działa program.
  3. Porównaj każde wymaganie wybranego pliku binarnego lub backendu. Podobnie nazwana funkcja, alias lub ogólne oznaczenie technologii nie są wystarczające.
  4. Upewnij się, że aplikacja wybrała zamierzoną implementację. Użyj jej udokumentowanej diagnostyki oraz obsługiwanego mechanizmu fallback, gdy wymagania nie są spełnione.
  5. Wprowadzaj jednorazowo tylko jedną obsługiwaną zmianę i powtarzaj to samo obciążenie testowe. Zachowaj oryginalną konfigurację oraz dostępną ścieżkę przywracania.

Gdy funkcja jest wymieniona, lecz oprogramowanie nie może z niej skorzystać

Zacznij od elementu, w którym bezpośrednio występuje błąd. Baza danych sprzętu opisuje zarejestrowane możliwości; system operacyjny lub hipernadzorca może udostępniać inne środowisko efektywne. Błąd nieprawidłowej instrukcji (illegal instruction) wymaga także zbadania faktycznej instrukcji powodującej błąd oraz kompilacji pliku binarnego, ponieważ uszkodzenie danych lub inna nieobsługiwana instrukcja może wywołać podobny objaw.

Zainstaluj wersję aplikacji, sterownika lub środowiska wykonawczego obsługiwaną na danej platformie i w razie potrzeby użyj udokumentowanej przez producenta kompilacji bazowej lub awaryjnej. Aktualizacja oprogramowania nie może utworzyć instrukcji, której procesor fizycznie nie posiada. Modyfikacje oprogramowania układowego i zasad bezpieczeństwa powinny przebiegać zgodnie z procedurą producenta systemu i planem przywracania, a nie ogólnikowym schematem optymalizacji.

Źródła i zakres niniejszego opisu

Intel 64 and IA-32 Architectures Software Developer's Manual · Jądro Linux: korzystanie z funkcji XSTATE w przestrzeni użytkownika

Te źródła definiują zachowanie architektoniczne i wymagania oprogramowania. Nie weryfikują one niezależnie każdej wartości funkcji na powiązanej stronie modelu sprzętu. W celu sprawdzenia obsługi przez model należy skorzystać z materiałów producenta na tej stronie i sprawdzić efektywną konfigurację systemu. Niniejszy artykuł nie zawiera wyników testów wydajnościowych, certyfikacji ani daty niezależnego przeglądu.

Źródła i weryfikacja

Własność redakcyjna: Feex. Nie odnotowano daty niezależnego przeglądu. Jak prowadzimy badania.

Czy ten artykuł był pomocny?

Wystarczy odpowiedź tak lub nie. Wybierz powód, jeśli chcesz, lub dodaj krótką notatkę.

Czy ten artykuł był pomocny?