Нейронний процесор (NPU)

Що потрібно знати

Як це працює

Середовище виконання NPU розбиває модель на підтримувані операції, вибирає числові представлення та планує роботу на доступному прискорювачі. Деякі оператори можуть залишатися на CPU або GPU. Передавання даних, синхронізація, компіляція та завантаження моделі є частиною повного шляху виконання.

Де це корисно

Застосунок може використовувати підтримуваний execution provider для запуску відповідної моделі на NPU. Граф, який непомітно перемикається на резервний варіант (fallback) для критичного оператора, може поводитися зовсім інакше, ніж той, який повністю виконується на прискорювачі, навіть на одному й тому ж пристрої.

Як перевірити підтримку та активацію

Визначте точну модель і покоління NPU, підтримуваний драйвер ОС, версію середи виконання та execution provider. Перевірте підтримку операторів, вимоги до пам'яті та діагностику резервного перемикання на реальній моделі, а не лише за записом у диспетчері пристроїв.

Наявність обладнання це лише перший крок. Драйвер, середовище виконання, провайдер виконання, підтримувані оператори та числовий формат повинні відповідати програмі. Перевіряйте фактичний вибір бекенда та резервні варіанти замість того, щоб вважати, що позначка AI означає прискорення кожної моделі.

Чого ця функція не гарантує

Наявність NPU не визначає конкретне значення TOPS, числову точність, припущення щодо розрідженості, підтримуваний розмір моделі чи сертифікацію ОС. Показники TOPS, виміряні за різних умов, не є безпосередньо порівнянними тестами продуктивності застосунків.

Сумісність і продуктивність на практиці

Порівнюйте повні робочі навантаження за вказаних умов, враховуючи компіляцію, передачу даних і непідтримувані оператори. Пікова кількість операцій за секунду залежить від точності та припущень щодо підрахунку. Вона не замінює виміряну затримку, пропускну здатність, енергоспоживання чи точність моделі.

Практичний контрольний список для верифікації

1. Зафіксуйте точну модель процесора або платформи, а також версії використовуваної програми, ОС і середовища виконання. Збережіть точне формулювання фактичної помилки або вимоги.
2. Звіртеся з документацією виробника для цієї точної моделі, потім перевірте фактичні можливості та стан активації в середовищі, де виконується програма.
3. Порівняйте кожну вимогу вибраного двійкового файлу або бекенда. Схожої назви функції, псевдоніма чи загального позначення технології недостатньо.
4. Переконайтеся, що програма вибрала призначену реалізацію. Використовуйте її задокументовані засоби діагностики та підтримуваний резервний варіант, якщо вимоги не виконуються.
5. Вносьте по одній підтримуваній зміні за раз і повторюйте те саме робоче навантаження. Зберігайте оригінальну конфігурацію та можливість відновлення.

Якщо функція вказана, але програмне забезпечення не може її використати

Почніть із компонента, у якому саме стався збій. База даних обладнання описує зафіксовані можливості; операційна система або гіпервізор можуть надавати інше фактичне середовище. Помилка неприпустимої інструкції також потребує дослідження фактичної інструкції, що викликала збій, і двійкової збірки, оскільки пошкодження даних або непов'язана непідтримувана інструкція можуть викликати схожий симптом.

Встановіть версію програми, драйвера або середовища виконання, яка підтримується для цієї конкретної платформи, і за потреби використовуйте задокументовану постачальником базову або резервну збірку. Оновлення програмного забезпечення не може створити інструкцію, якої немає в процесорі. Зміни у прошивці та політиках безпеки повинні відповідати процедурі виробника системи та плану відновлення, а не загальним рецептам оптимізації.

Пов'язані функції та корисні відмінності

XDNA AI Engine · Gaussian Neural Accelerator (GNA) · AMX, Advanced Matrix Extensions

Джерела та межі застосування цього пояснення

Архітектура AMD XDNA · Провайдери виконання ONNX Runtime

Ці довідкові матеріали визначають архітектурну поведінку та вимоги до програмного забезпечення. Вони не перевіряють незалежно кожне значення функції на сторінці пов'язаної моделі обладнання. Щодо підтримки моделі використовуйте дані виробника на цій сторінці та перевіряйте фактичну конфігурацію системи. Ця стаття не містить бенчмарків, сертифікації чи дат незалежного огляду.

Пов'язане

Ці сутності пов'язані з цією статтею. Тип вказується для кожного посилання.

Джерела та верифікація

Власник авторських прав: Feex. Дата незалежної перевірки не зафіксована. Як ми проводимо дослідження.

• Архітектура AMD XDNA · Просторова архітектура потоку даних на основі тайлів (tile-based), локальна пам'ять і компоненти AI Engine. Загальний опис архітектури не визначає кількість тайлів або показник TOPS конкретної моделі.
• Провайдери виконання ONNX Runtime · Архітектура провайдерів виконання (execution providers), розбиття графа та апаратна інтеграція. Наявність провайдера не доводить, що кожен оператор переноситься на прискорювач.