Deep Learning Boost

Що потрібно знати

Як це працює

Продукти, описані під цією назвою, можуть надавати різні комбінації векторного скалярного добутку та інших засобів прискорення. Програмна бібліотека вибирає ядра на основі фактичних розширень, числових форматів та увімкненого стану ОС. Ця назва ширша за один код операції або переносний бінарний базовий рівень.

Де це корисно

Середовище виконання логічного виведення може вибрати ядро квантованого скалярного добутку для підтримуваної операції моделі. Вибраний провайдер виконання, точність даних, покриття операторів і пакування визначають, чи використовує застосунок функцію процесора на практиці.

Як перевірити підтримку та активацію

Знайдіть специфікації виробника для конкретної моделі, а потім перерахуйте розширення інструкцій, необхідні середовищу виконання. Перевірте його діагностичні дані на наявність вибраного ядра/бекенда та переконайтеся, що відповідний векторний стан або стан тайлів ОС увімкнено.

Наявність обладнання це лише перший крок. Драйвер, середовище виконання, провайдер виконання, підтримувані оператори та числовий формат повинні відповідати програмі. Перевіряйте фактичний вибір бекенда та резервні варіанти замість того, щоб вважати, що позначка AI означає прискорення кожної моделі.

Чого ця функція не гарантує

Не робіть висновок про наявність AVX-512 VNNI, AVX-VNNI, BF16, AMX або NPU лише на основі цього маркетингового поля. Пікова кількість операцій на секунду за однієї точності не є взаємозамінною з наскрізною швидкістю логічного виведення або точністю моделі.

Сумісність і продуктивність на практиці

Порівнюйте повні робочі навантаження за вказаних умов, враховуючи компіляцію, передачу даних і непідтримувані оператори. Пікова кількість операцій за секунду залежить від точності та припущень щодо підрахунку. Вона не замінює виміряну затримку, пропускну здатність, енергоспоживання чи точність моделі.

Практичний контрольний список для верифікації

1. Зафіксуйте точну модель процесора або платформи, а також версії використовуваної програми, ОС і середовища виконання. Збережіть точне формулювання фактичної помилки або вимоги.
2. Звіртеся з документацією виробника для цієї точної моделі, потім перевірте фактичні можливості та стан активації в середовищі, де виконується програма.
3. Порівняйте кожну вимогу вибраного двійкового файлу або бекенда. Схожої назви функції, псевдоніма чи загального позначення технології недостатньо.
4. Переконайтеся, що програма вибрала призначену реалізацію. Використовуйте її задокументовані засоби діагностики та підтримуваний резервний варіант, якщо вимоги не виконуються.
5. Вносьте по одній підтримуваній зміні за раз і повторюйте те саме робоче навантаження. Зберігайте оригінальну конфігурацію та можливість відновлення.

Якщо функція вказана, але програмне забезпечення не може її використати

Почніть із компонента, у якому саме стався збій. База даних обладнання описує зафіксовані можливості; операційна система або гіпервізор можуть надавати інше фактичне середовище. Помилка неприпустимої інструкції також потребує дослідження фактичної інструкції, що викликала збій, і двійкової збірки, оскільки пошкодження даних або непов'язана непідтримувана інструкція можуть викликати схожий симптом.

Встановіть версію програми, драйвера або середовища виконання, яка підтримується для цієї конкретної платформи, і за потреби використовуйте задокументовану постачальником базову або резервну збірку. Оновлення програмного забезпечення не може створити інструкцію, якої немає в процесорі. Зміни у прошивці та політиках безпеки повинні відповідати процедурі виробника системи та плану відновлення, а не загальним рецептам оптимізації.

Пов'язані функції та корисні відмінності

AVX-VNNI · AVX-512 · AMX, Advanced Matrix Extensions · Нейронний процесор (NPU)

Джерела та межі застосування цього пояснення

Intel: глибоке навчання з AVX-512 та DL Boost · Intel 64 and IA-32 Architectures Software Developer's Manual

Ці довідкові матеріали визначають архітектурну поведінку та вимоги до програмного забезпечення. Вони не перевіряють незалежно кожне значення функції на сторінці пов'язаної моделі обладнання. Щодо підтримки моделі використовуйте дані виробника на цій сторінці та перевіряйте фактичну конфігурацію системи. Ця стаття не містить бенчмарків, сертифікації чи дат незалежного огляду.

Пов'язане

Ці сутності пов'язані з цією статтею. Тип вказується для кожного посилання.

Джерела та верифікація

Власник авторських прав: Feex. Дата незалежної перевірки не зафіксована. Як ми проводимо дослідження.

• Intel: глибоке навчання з AVX-512 та DL Boost · Пояснює прискорення на основі VNNI. Точний набір інструкцій усе ще потрібно звіряти з конкретним процесором і середовищем виконання.
• Intel 64 and IA-32 Architectures Software Developer's Manual · Томи 1 і 2 описують зазначені сімейства інструкцій і CPUID; Том 3 описує стан, сторінкову організацію пам'яті, VMX і засоби захисту. Документація з архітектури не підтверджує підтримку для конкретної моделі.