Μια σε βάθος ερμηνεία του περιορισμού των 6TOPS του RK3588 και η αλήθεια για την υπολογιστική ισχύ του NPU

Φανταστείτε ότι εργάζεστε σε ένα πρότζεκτ AI με το RK3588: η ροή βίντεο της κάμερας πρέπει να εκτελεί αναγνώριση προσώπου σε πραγματικό χρόνο και ανίχνευση οχημάτων, ενώ υποστηρίζει επίσης οθόνη UI, φόρτωση δεδομένων,και επεξεργασία επιχειρηματικής λογικήςΠαρατηρείτε: οι πτώσεις καρές συμβαίνουν όταν υπάρχουν πολλά αντικείμενα στο καρέ, τα μεγάλα μοντέλα δεν λειτουργούν ομαλά, και η θερμοκρασία αυξάνεται απότομα.

Σε αυτό το σημείο, οι άνθρωποι συνήθως λένε: "Το μοντέλο σας είναι πολύ μεγάλο" 6TOPS του RK3588 δεν είναι αρκετό. "

Αλλά είναι πραγματικά έλλειψη υπολογιστικής ισχύος; Έχετε αναρωτηθεί ποτέ: Γιατί ένα 6TOPS NPU εξακολουθεί να αντιμετωπίζει πτώσεις καρές και καθυστέρηση κατά την εκτέλεση ενός μοντέλου 4TOPS;Η απάντηση έγκειται σε τρεις διαστάσεις της υπολογιστικής ισχύος NPU:Πιο υψηλή απόδοση (TOPS),Ακριβότητα (INT8/FP16), καιΑποτελεσματικότητα (πεδίο ευρύτητας).

Θα δείτε ότι διάφορα τσιπ τονίζουν τις προδιαγραφές των NPU, με μια βασική παράμετρος εμφανώς εμφανισμένη: NPU Computing Power: X TOPS.RK1820-20TOPS, Hi3403V100-10TOPS, Hi3519DV500-2.5TOPS, Jetson Orin Nano-20/40TOPS, Jetson Orin NX-70/100TOPS, και ούτω καθεξής...

ΤέραΑντιπροσωπεύει 1012.

Λειτουργίες ανά δευτερόλεπτο: Αναφέρεται στον συνολικό αριθμό λειτουργιών τεχνητής νοημοσύνης που μπορεί να εκτελέσει το NPU σε ένα δευτερόλεπτο.

Ο συνολικός αριθμός μονάδων MAC είναι ο πυρήνας των υπολογιστών νευρωνικών δικτύων.Ο κύριος υπολογισμός περιλαμβάνει τον πολλαπλασιασμό των δεδομένων εισόδου με βάρη και στη συνέχεια το άθροισμα των αποτελεσμάτων.

Η φιλοσοφία σχεδιασμού μιας NPU έγκειται στην ύπαρξη μιας εξαιρετικά μεγάλης σειράς παράλληλων μονάδων MAC.που μπορεί να λειτουργήσει ταυτόχρονα για να επιτύχει μεγάλης κλίμακας παράλληλη υπολογιστική.

Όσο περισσότερες μονάδες MAC υπάρχουν, τόσο μεγαλύτερη είναι η ποσότητα υπολογισμών που μπορεί να ολοκληρώσει το NPU σε έναν μόνο κύκλο ρολογιού.

Συχνότητα ρολογιού: καθορίζει τον αριθμό των κύκλων λειτουργίας του τσιπ NPU και των μονάδων MAC του ανά δευτερόλεπτο (μετρώνται σε Hertz, Hz).Μια υψηλότερη συχνότητα επιτρέπει στην συστοιχία MAC να εκτελεί περισσότερες πράξεις πολλαπλασιασμού-συσσώρευσης ανά μονάδα χρόνουΌταν οι κατασκευαστές ανακοινώνουν το TOPS, χρησιμοποιούν τη μέγιστη λειτουργική συχνότητα της NPU (δηλαδή τη μέγιστη εφικτή συχνότητα).

Λειτουργίες ανά MACΓια να ευθυγραμμιστεί με την παραδοσιακή μέθοδο καταμέτρησης FLOPS (Floating-Point Operations Per Second),Πολλά πρότυπα υπολογιστών υπολογίζουν μια λειτουργία MAC ως 2 βασικές λειτουργίες (1 για πολλαπλασιασμό και 1 για πρόσθεση).

Παράγοντας ακρίβειας: Οι μονάδες MAC ενός NPU είναι βελτιστοποιημένες για την επεξεργασία δεδομένων χαμηλής ακρίβειας (π.χ. INT8).

Απλουστευμένη αναλογία επιτάχυνσης του INT8 vs FP32: Δεδομένου ότι 32 bits / 8 bits = 4, μια μονάδα FP32 μπορεί θεωρητικά να εκτελέσει 4 φορές περισσότερες λειτουργίες σε έναν κύκλο όταν αλλάζει σε υπολογισμό INT8.,Εάν το TOPS ενός κατασκευαστή υπολογίζεται με βάση το INT8, πρέπει να πολλαπλασιαστεί με έναν συντελεστή επιτάχυνσης που σχετίζεται με την ακρίβεια.

Το TOPS μετρά την κορυφαία θεωρητική υπολογιστική ισχύ.η πραγματική αποτελεσματική ισχύς υπολογισμού ενός NPU είναι συχνά χαμηλότερη από αυτή την τιμή κορυφής.

Η υπολογιστική ισχύς μας λέει πόσο γρήγορα λειτουργεί μια NPU, ενώ η υπολογιστική ακρίβεια μας λέει πόσο καλά λειτουργεί.καθορισμός του αριθμού των χρησιμοποιούμενων bits και του εύρους αναπαράστασης των δεδομένων κατά τη διάρκεια του υπολογισμού.

Στο ίδιο επίπεδο TOPS, η πραγματική ταχύτητα υπολογισμού του INT8 είναι πολύ ταχύτερη από εκείνη του FP32.

Οι NPU TOPS που διεκδικούνται από τους κατασκευαστές βασίζονται συνήθως στην ακρίβεια INT8.

• FP32 (Μια-ακριβής πλωτή τιμή, 32-bit)Το FP32 είναι ένα μοντέλο που χρησιμοποιείται συνήθως κατά τη διάρκεια της φάσης εκπαίδευσης για να διασφαλιστεί η ακρίβεια.
• FP16/BF16 (Μη ακριβής πλωτή τιμή, 16-bit): Μειώνει κατά το ήμισυ τον όγκο των δεδομένων, διατηρώντας ταυτόχρονα ένα ορισμένο επίπεδο ακρίβειας, επιτρέποντας ταχύτερους υπολογισμούς και εξοικονόμηση μνήμης.

• INT8 (8-bit Integer)Η διαδικασία μετατροπής των βαρών μοντέλου και των τιμών ενεργοποίησης από υψηλή ακρίβεια (π.χ.FP32) σε 8-bit ακέραιους αριθμούς ονομάζεται Κβαντοποίηση.
• INT4 (κάτω πλάτος bits): Διαθέτει περαιτέρω συμπίεση, κατάλληλη για σενάρια με εξαιρετικά υψηλές απαιτήσεις κατανάλωσης ισχύος και καθυστέρησης, αλλά επιβάλλει υψηλότερες απαιτήσεις για τον έλεγχο της απώλειας ακρίβειας του μοντέλου.

Όταν βλέπετε ένα NPU να ισχυρίζεται 20 TOPS (INT8), πρέπει να καταλάβετε:

• Η μέγιστη υπολογιστική ισχύς είναι 20 τρισεκατομμύρια λειτουργίες το δευτερόλεπτο.
• Αυτή η υπολογιστική ισχύς μετριέται με ακρίβεια 8-bit (INT8). Αυτό σημαίνει ότι χρησιμοποιείται κυρίως για συμπεράσματα τεχνητής νοημοσύνης (όπως αναγνώριση εικόνας, επεξεργασία ομιλίας κλπ.), όχι για εκπαίδευση.
• Η τελική απόδοση εξαρτάται από την εφαρμογή: Η πραγματική εμπειρία χρήστη (όπως η ταχύτητα ξεκλειδώματος προσώπου, η καθυστέρηση μετάφρασης σε πραγματικό χρόνο) εξαρτάται όχι μόνο από τα TOPS της NPU, αλλά και από:
  • Ποιότητα κβαντοποίησης μοντέλου: Το αν το κβαντοποιημένο μοντέλο INT8 διατηρεί επαρκή ακρίβεια.
  • Διάταξη ζώνης μνήμης: ταχύτητα εισαγωγής και εξόδου δεδομένων.
  • Στάκ λογισμικού και προγράμματα οδήγησης: Το επίπεδο βελτιστοποίησης της αλυσίδας εργαλείων και των προγράμματος οδήγησης που παρέχεται από τον κατασκευαστή τσιπ για την ανάπτυξη μοντέλου.

Η υπολογιστική ισχύς ενός NPU (TOPS) είναι ένας δείκτης της ταχύτητας του, ενώ η υπολογιστική ακρίβεια (π.χ. INT8) είναι το κλειδί για την αποτελεσματικότητά του και την εφαρμοσιμότητά του.Οι κατασκευαστές γενικά στοχεύουν στη μεγιστοποίηση των INT8 TOPS διατηρώντας την αποδεκτή απώλεια ακρίβειας, για την επίτευξη χαμηλής ισχύος και υψηλής απόδοσης απόδοσης συμπεράσματος AI.