Μετάβαση στο περιεχόμενο

Deep Learning Boost

Αναφορά αρχιτεκτονικήςFeex

Το Intel Deep Learning Boost είναι μια εμπορική ετικέτα τεχνολογίας για δυνατότητες επεξεργαστή που χρησιμοποιούνται από κατάλληλους φόρτους εργασίας AI. Το ακριβές σύνολο εντολών του εξαρτάται από τον επεξεργαστή και πρέπει να ελέγχεται ξεχωριστά.

Τι πρέπει να γνωρίζετε

Το Intel Deep Learning Boost είναι μια εμπορική ετικέτα τεχνολογίας για δυνατότητες επεξεργαστή που χρησιμοποιούνται από κατάλληλους φόρτους εργασίας AI. Το ακριβές σύνολο εντολών του εξαρτάται από τον επεξεργαστή και πρέπει να ελέγχεται ξεχωριστά.

Πώς λειτουργεί

Τα προϊόντα που περιγράφονται με αυτήν την ετικέτα μπορούν να εκθέτουν διαφορετικούς συνδυασμούς διανυσματικού εσωτερικού γινομένου και άλλων δυνατοτήτων επιτάχυνσης. Μια βιβλιοθήκη λογισμικού επιλέγει πυρήνες με βάση τις πραγματικές επεκτάσεις, τις αριθμητικές μορφές και την κατάσταση που έχει ενεργοποιηθεί από το λειτουργικό σύστημα. Η ετικέτα είναι ευρύτερη από έναν μεμονωμένο κωδικό εντολής (opcode) ή μια φορητή δυαδική βάση.

Πού είναι χρήσιμο

Ένας χρόνος εκτέλεσης εξαγωγής συμπερασμάτων (inference runtime) μπορεί να επιλέξει έναν πυρήνα κβαντισμένου εσωτερικού γινομένου για μια υποστηριζόμενη λειτουργία μοντέλου. Ο επιλεγμένος πάροχος εκτέλεσης, η ακρίβεια δεδομένων, η κάλυψη τελεστών και η συμπύκνωση καθορίζουν εάν η εφαρμογή χρησιμοποιεί τη δυνατότητα του επεξεργαστή στην πράξη.

Πώς να ελέγξετε την υποστήριξη και την ενεργοποίηση

Αναζητήστε τις προδιαγραφές του κατασκευαστή για το ακριβές μοντέλο και, στη συνέχεια, απαριθμήστε τις επεκτάσεις εντολών που απαιτούνται από τον χρόνο εκτέλεσης. Ελέγξτε τα διαγνωστικά αποτελέσματά του για τον επιλεγμένο πυρήνα/σύστημα υποστήριξης (backend) και επαληθεύστε ότι η σχετική κατάσταση διανύσματος ή πλακιδίου (tile) του λειτουργικού συστήματος είναι ενεργοποιημένη.

Η διαθεσιμότητα υλικού είναι μόνο το πρώτο βήμα. Το πρόγραμμα οδήγησης, το περιβάλλον εκτέλεσης, ο πάροχος εκτέλεσης, οι υποστηριζόμενοι τελεστές και η αριθμητική μορφή πρέπει να ταιριάζουν με την εφαρμογή. Ελέγξτε την πραγματική επιλογή backend και την εναλλακτική λύση (fallback) αντί να υποθέτετε ότι μια ετικέτα AI σημαίνει πως κάθε μοντέλο επιταχύνεται.

Τι δεν καθορίζει η δυνατότητα

Μην συνάγετε AVX-512 VNNI, AVX-VNNI, BF16, AMX ή NPU μόνο από αυτό το πεδίο μάρκετινγκ. Οι μέγιστες λειτουργίες ανά δευτερόλεπτο υπό μία ακρίβεια δεν είναι εναλλάξιμες με τη συνολική ταχύτητα εξαγωγής συμπερασμάτων ή την ακρίβεια του μοντέλου.

Συμβατότητα και απόδοση στην πράξη

Συγκρίνετε πλήρεις φόρτους εργασίας υπό καθορισμένες συνθήκες, συμπεριλαμβανομένης της μεταγλώττισης, των μεταφορών και των μη υποστηριζόμενων τελεστών. Οι μέγιστες πράξεις ανά δευτερόλεπτο εξαρτώνται από την ακρίβεια και τις παραδοχές υπολογισμού. Δεν υποκαθιστούν τη μετρούμενη καθυστέρηση (latency), τη διακίνηση (throughput), την ενέργεια ή την ακρίβεια του μοντέλου.

Μια πρακτική λίστα ελέγχου επαλήθευσης

  1. Καταγράψτε το ακριβές μοντέλο επεξεργαστή ή πλατφόρμας και τις εμπλεκόμενες εκδόσεις εφαρμογής, λειτουργικού συστήματος και περιβάλλοντος εκτέλεσης (runtime). Διατηρήστε τη διατύπωση του πραγματικού σφάλματος ή της απαίτησης.
  2. Ελέγξτε τις αναφορές του κατασκευαστή για το συγκεκριμένο μοντέλο και, στη συνέχεια, εξετάστε την πραγματική δυνατότητα και την ενεργοποιημένη κατάσταση στο περιβάλλον όπου εκτελείται το πρόγραμμα.
  3. Συγκρίνετε κάθε απαίτηση του επιλεγμένου εκτελέσιμου αρχείου (binary) ή του backend. Μια δυνατότητα με παρόμοιο όνομα, ένα ψευδώνυμο ή μια ευρεία ετικέτα τεχνολογίας δεν επαρκεί.
  4. Επιβεβαιώστε ότι η εφαρμογή επέλεξε την προβλεπόμενη υλοποίηση. Χρησιμοποιήστε τα τεκμηριωμένα διαγνωστικά της και μια υποστηριζόμενη εναλλακτική λύση (fallback) όταν δεν πληρούνται οι απαιτήσεις.
  5. Κάντε μία υποστηριζόμενη αλλαγή τη φορά και επαναλάβετε τον ίδιο φόρτο εργασίας. Διατηρήστε διαθέσιμη την αρχική διαμόρφωση και τη διαδρομή επαναφοράς.

Εάν η δυνατότητα αναφέρεται αλλά το λογισμικό δεν μπορεί να τη χρησιμοποιήσει

Ξεκινήστε με το ακριβές στοιχείο που αποτυγχάνει. Μια βάση δεδομένων υλικού περιγράφει την καταγεγραμμένη δυνατότητα· το λειτουργικό σύστημα ή ο hypervisor μπορεί να εκθέσει ένα διαφορετικό πραγματικό περιβάλλον. Ένα σφάλμα μη έγκυρης εντολής (illegal-instruction error) απαιτεί επίσης διερεύνηση της πραγματικής εντολής που προκάλεσε το σφάλμα και της έκδοσης του εκτελέσιμου (binary build), καθώς η αλλοίωση δεδομένων ή μια άσχετη μη υποστηριζόμενη εντολή μπορεί να προκαλέσει παρόμοιο σύμπτωμα.

Εγκαταστήστε την έκδοση της εφαρμογής, του προγράμματος οδήγησης ή του περιβάλλοντος εκτέλεσης που υποστηρίζεται για την ακριβή πλατφόρμα και χρησιμοποιήστε τη βασική γραμμή (baseline) ή την εναλλακτική έκδοση (fallback build) που τεκμηριώνει ο κατασκευαστής, εάν χρειάζεται. Μια ενημέρωση λογισμικού δεν μπορεί να δημιουργήσει μια εντολή που λείπει από τον επεξεργαστή. Οι αλλαγές στο υλικολογισμικό (firmware) και στην πολιτική ασφαλείας θα πρέπει να ακολουθούν τη διαδικασία του κατασκευαστή του συστήματος και ένα σχέδιο επαναφοράς και όχι μια γενική συνταγή βελτιστοποίησης.

Πηγές και πεδίο εφαρμογής αυτής της επεξήγησης

Intel: βαθιά μάθηση με AVX-512 και DL Boost · Intel 64 and IA-32 Architectures Software Developer's Manual

Αυτές οι αναφορές καθορίζουν την αρχιτεκτονική συμπεριφορά και τις απαιτήσεις λογισμικού. Δεν επαληθεύουν ανεξάρτητα κάθε τιμή δυνατότητας σε μια συνδεδεμένη σελίδα μοντέλου υλικού. Για την υποστήριξη του μοντέλου, χρησιμοποιήστε τα στοιχεία τεκμηρίωσης του κατασκευαστή αυτής της σελίδας και ελέγξτε την πραγματική διαμόρφωση του συστήματος. Αυτό το άρθρο δεν παρέχει ημερομηνία δοκιμής επιδόσεων (benchmark), πιστοποίησης ή ανεξάρτητης αξιολόγησης.

Πηγές και επαλήθευση

Συντακτική ιδιοκτησία: Feex. Δεν έχει καταγραφεί ημερομηνία ανεξάρτητης αναθεώρησης. Πώς ερευνούμε.

  • Intel: βαθιά μάθηση με AVX-512 και DL Boost · Εξηγεί την επιτάχυνση που βασίζεται σε VNNI. Το ακριβές σύνολο εντολών εξακολουθεί να πρέπει να ελέγχεται σε σχέση με τον μεμονωμένο επεξεργαστή και τον χρόνο εκτέλεσης.
  • Intel 64 and IA-32 Architectures Software Developer's Manual · Οι τόμοι 1 και 2 περιγράφουν τις κατονομαζόμενες οικογένειες εντολών και το CPUID· ο τόμος 3 περιγράφει την κατάσταση, τη σελιδοποίηση, το VMX και τους ελέγχους προστασίας. Η τεκμηρίωση αρχιτεκτονικής δεν καθορίζει την υποστήριξη για ένα συγκεκριμένο μοντέλο.

Ήταν χρήσιμο αυτό το άρθρο;

Ένα ναι ή όχι είναι αρκετό. Επιλέξτε έναν λόγο εάν θέλετε ή προσθέστε μια σύντομη σημείωση.

Ήταν χρήσιμο αυτό το άρθρο;