Μονάδα νευρωνικής επεξεργασίας (NPU)

Αναφορά αρχιτεκτονικήςFeex

Μια NPU είναι ένας επεξεργαστής σχεδιασμένος για υποστηριζόμενους φόρτους εργασίας νευρωνικών δικτύων, συχνά με έμφαση στην αποδοτική εξαγωγή συμπερασμάτων (inference). Η γενική ετικέτα δεν περιγράφει ένα καθολικό σύνολο εντολών ή πρότυπο συμβατότητας εφαρμογών.

Τι πρέπει να γνωρίζετε

Πώς λειτουργεί

Ένα περιβάλλον εκτέλεσης NPU κατατέμνει ένα μοντέλο σε υποστηριζόμενες λειτουργίες, επιλέγει αριθμητικές αναπαραστάσεις και προγραμματίζει την εργασία στον διαθέσιμο επιταχυντή. Ορισμένοι τελεστές ενδέχεται να παραμείνουν στην CPU ή την GPU. Οι μεταφορές, ο συγχρονισμός, η μεταγλώττιση και η φόρτωση του μοντέλου αποτελούν μέρος της πλήρους διαδρομής εκτέλεσης.

Πού είναι χρήσιμο

Μια εφαρμογή μπορεί να χρησιμοποιήσει έναν υποστηριζόμενο πάροχο εκτέλεσης (execution provider) για να εκτελέσει ένα κατάλληλο μοντέλο στην NPU. Ένα γράφημα που καταφεύγει σιωπηρά σε εναλλακτική λύση (fallback) για έναν κρίσιμο τελεστή μπορεί να συμπεριφέρεται πολύ διαφορετικά από ένα γράφημα που παραμένει στον επιταχυντή, ακόμη και στην ίδια συσκευή.

Πώς να ελέγξετε την υποστήριξη και την ενεργοποίηση

Προσδιορίστε το ακριβές μοντέλο και τη γενιά της NPU, το υποστηριζόμενο πρόγραμμα οδήγησης του OS, την έκδοση του περιβάλλοντος εκτέλεσης και τον πάροχο εκτέλεσης. Ελέγξτε την υποστήριξη τελεστών, τις απαιτήσεις μνήμης και τα διαγνωστικά fallback με το πραγματικό μοντέλο, όχι απλώς με μια καταχώριση στη διαχείριση συσκευών.

Η διαθεσιμότητα υλικού είναι μόνο το πρώτο βήμα. Το πρόγραμμα οδήγησης, το περιβάλλον εκτέλεσης, ο πάροχος εκτέλεσης, οι υποστηριζόμενοι τελεστές και η αριθμητική μορφή πρέπει να ταιριάζουν με την εφαρμογή. Ελέγξτε την πραγματική επιλογή backend και την εναλλακτική λύση (fallback) αντί να υποθέτετε ότι μια ετικέτα AI σημαίνει πως κάθε μοντέλο επιταχύνεται.

Τι δεν καθορίζει η δυνατότητα

Η παρουσία NPU δεν κατοχυρώνει μια συγκεκριμένη τιμή TOPS, αριθμητική ακρίβεια, παραδοχή αραιότητας (sparsity), υποστηριζόμενο μέγεθος μοντέλου ή πιστοποίηση OS. Οι τιμές TOPS που μετρώνται υπό διαφορετικές συνθήκες δεν είναι άμεσα συγκρίσιμα benchmarks εφαρμογών.

Συμβατότητα και απόδοση στην πράξη

Συγκρίνετε πλήρεις φόρτους εργασίας υπό καθορισμένες συνθήκες, συμπεριλαμβανομένης της μεταγλώττισης, των μεταφορών και των μη υποστηριζόμενων τελεστών. Οι μέγιστες πράξεις ανά δευτερόλεπτο εξαρτώνται από την ακρίβεια και τις παραδοχές υπολογισμού. Δεν υποκαθιστούν τη μετρούμενη καθυστέρηση (latency), τη διακίνηση (throughput), την ενέργεια ή την ακρίβεια του μοντέλου.

Μια πρακτική λίστα ελέγχου επαλήθευσης

Καταγράψτε το ακριβές μοντέλο επεξεργαστή ή πλατφόρμας και τις εμπλεκόμενες εκδόσεις εφαρμογής, λειτουργικού συστήματος και περιβάλλοντος εκτέλεσης (runtime). Διατηρήστε τη διατύπωση του πραγματικού σφάλματος ή της απαίτησης.
Ελέγξτε τις αναφορές του κατασκευαστή για το συγκεκριμένο μοντέλο και, στη συνέχεια, εξετάστε την πραγματική δυνατότητα και την ενεργοποιημένη κατάσταση στο περιβάλλον όπου εκτελείται το πρόγραμμα.
Συγκρίνετε κάθε απαίτηση του επιλεγμένου εκτελέσιμου αρχείου (binary) ή του backend. Μια δυνατότητα με παρόμοιο όνομα, ένα ψευδώνυμο ή μια ευρεία ετικέτα τεχνολογίας δεν επαρκεί.
Επιβεβαιώστε ότι η εφαρμογή επέλεξε την προβλεπόμενη υλοποίηση. Χρησιμοποιήστε τα τεκμηριωμένα διαγνωστικά της και μια υποστηριζόμενη εναλλακτική λύση (fallback) όταν δεν πληρούνται οι απαιτήσεις.
Κάντε μία υποστηριζόμενη αλλαγή τη φορά και επαναλάβετε τον ίδιο φόρτο εργασίας. Διατηρήστε διαθέσιμη την αρχική διαμόρφωση και τη διαδρομή επαναφοράς.

Εάν η δυνατότητα αναφέρεται αλλά το λογισμικό δεν μπορεί να τη χρησιμοποιήσει

Ξεκινήστε με το ακριβές στοιχείο που αποτυγχάνει. Μια βάση δεδομένων υλικού περιγράφει την καταγεγραμμένη δυνατότητα· το λειτουργικό σύστημα ή ο hypervisor μπορεί να εκθέσει ένα διαφορετικό πραγματικό περιβάλλον. Ένα σφάλμα μη έγκυρης εντολής (illegal-instruction error) απαιτεί επίσης διερεύνηση της πραγματικής εντολής που προκάλεσε το σφάλμα και της έκδοσης του εκτελέσιμου (binary build), καθώς η αλλοίωση δεδομένων ή μια άσχετη μη υποστηριζόμενη εντολή μπορεί να προκαλέσει παρόμοιο σύμπτωμα.

Εγκαταστήστε την έκδοση της εφαρμογής, του προγράμματος οδήγησης ή του περιβάλλοντος εκτέλεσης που υποστηρίζεται για την ακριβή πλατφόρμα και χρησιμοποιήστε τη βασική γραμμή (baseline) ή την εναλλακτική έκδοση (fallback build) που τεκμηριώνει ο κατασκευαστής, εάν χρειάζεται. Μια ενημέρωση λογισμικού δεν μπορεί να δημιουργήσει μια εντολή που λείπει από τον επεξεργαστή. Οι αλλαγές στο υλικολογισμικό (firmware) και στην πολιτική ασφαλείας θα πρέπει να ακολουθούν τη διαδικασία του κατασκευαστή του συστήματος και ένα σχέδιο επαναφοράς και όχι μια γενική συνταγή βελτιστοποίησης.

Πηγές και πεδίο εφαρμογής αυτής της επεξήγησης

AMD XDNA architecture · ONNX Runtime execution providers

Αυτές οι αναφορές καθορίζουν την αρχιτεκτονική συμπεριφορά και τις απαιτήσεις λογισμικού. Δεν επαληθεύουν ανεξάρτητα κάθε τιμή δυνατότητας σε μια συνδεδεμένη σελίδα μοντέλου υλικού. Για την υποστήριξη του μοντέλου, χρησιμοποιήστε τα στοιχεία τεκμηρίωσης του κατασκευαστή αυτής της σελίδας και ελέγξτε την πραγματική διαμόρφωση του συστήματος. Αυτό το άρθρο δεν παρέχει ημερομηνία δοκιμής επιδόσεων (benchmark), πιστοποίησης ή ανεξάρτητης αξιολόγησης.

Πηγές και επαλήθευση

Συντακτική ιδιοκτησία: Feex. Δεν έχει καταγραφεί ημερομηνία ανεξάρτητης αναθεώρησης. Πώς ερευνούμε.

AMD XDNA architecture · Αρχιτεκτονική ροής χωρικών δεδομένων βασισμένη σε πλακίδια (tile-based spatial dataflow), τοπικές μνήμες και στοιχεία AI Engine. Το γενικό κείμενο αρχιτεκτονικής δεν καθορίζει τον αριθμό των πλακιδίων ή τα TOPS ενός μοντέλου.
ONNX Runtime execution providers · Αρχιτεκτονική παρόχου εκτέλεσης, κατάτμηση γραφήματος και ενσωμάτωση ειδική για το υλικό. Η παρουσία παρόχου δεν αποδεικνύει ότι κάθε τελεστής εκφορτώνεται (offloaded).

Ήταν χρήσιμο αυτό το άρθρο;

Ένα ναι ή όχι είναι αρκετό. Επιλέξτε έναν λόγο εάν θέλετε ή προσθέστε μια σύντομη σημείωση.