Μοντέλα AI και οι GPU που τα τρέχουν

Ένα αρχείο που καλύπτει 3,567 τα μοντέλα μηχανικής μάθησης — ποιος τα ανέπτυξε, πού, πότε, πόσο μεγάλο είναι και αν τα βάρη του δημοσιεύθηκαν. Είναι πιο ευρύ από μια λίστα πραγμάτων που μπορείς να τρέξεις: ένα μοντέλο που κανείς δεν μπορεί να κατεβάσει έχει ακόμα μια προδιαγραφή αξίας ανάγνωσης, και η γνώση των υπαρχόντων είναι μέρος της αξιολόγησης του τι αξίζει να τρέξεις.

Αυτό που κάνει αυτόν τον κατάλογο διαφορετικό από έναν απλό δείκτη είναι ότι είναι προσαρτημένος σε έναν υπολογιστή υλικού. Κάθε μοντέλο των οποίων τα βάρη είναι OPEN και το μέγεθος είναι ON FILE έχει αξιολογηθεί σε σχέση με κάθε GPU CARD για την οποία διαθέτουμε προδιαγραφές. Ανοίξτε ένα και σας λέει ποιες κάρτες μπορούν να το τρέξουν, πόση μνήμη απαιτεί η καθεμία, και περίπου πόσους tokens ανά δευτερόλεπτο να περιμένετε.

Το μοναδικό πιο σημαντικό γεγονός σχετικά με ένα μοντέλο είναι αν τα βάρη του δημοσιεύτηκαν. Τα βάρη ενός μοντέλου είναι οι εκπαιδευμένες τιμές που το κάνουν αυτό που είναι — εκατοντάδες δισεκατομμύρια αριθμών που προέκυψαν μετά από μήνες υπολογισμών. Η δημοσίευση τους σημαίνει ότι οποιοσδήποτε μπορεί να κατεβάσει το μοντέλο και να το τρέξει στο δικό του υλικό, μόνιμα, χωρίς λογαριασμό και χωρίς σύνδεση δικτύου. Η μη δημοσίευση τους σημαίνει ότι το μοντέλο υπάρχει μόνο ως υπηρεσία, προσβάσιμη μέσω μιας διεπαφής που ελέγχει ο κάτοχός της.

Αυτή η διάκριση αποφασίζει τα πάντα σε αυτή την ιστοσελίδα. Ένα κλειστό μοντέλο δεν μπορεί να τρέξει τοπικά σε καμία τιμή, οπότε καμία ποσότητα κάρτας γραφικών δεν αλλάζει την απάντηση και κανένα νούμερο μνήμης δεν ισχύει γι' αυτό. Ένα open weight μοντέλο μπορεί να τρέξει από οποιονδήποτε έχει υλικό αρκετά μεγάλο για να το κρατήσει, κάτι που μετατρέπει την "ποιο μοντέλο θα πρέπει να χρησιμοποιήσω" σε μια ερώτηση με απάντηση υλικού.

"Ανοιχτά βάρη" δεν είναι το ίδιο με το ανοιχτού κώδικα με την έννοια που συνήθως φέρει ο όρος. Το ότι τα βάρη είναι διαθέσιμα για λήψη δεν λέει τίποτα για τα δεδομένα εκπαίδευσης, τον κώδικα εκπαίδευσης ή την άδεια που συνδέεται με το αποτέλεσμα - ορισμένα δημοσιευμένα μοντέλα επιτρέπουν ελεύθερη εμπορική χρήση, ενώ άλλα περιορίζουν αυτήν. Αυτό που είναι συνεπές είναι ότι το μοντέλο εκτελείται στη μηχανή σας αντί για κάποια άλλη.

Αυτός ο κατάλογος περιέχει 3,567 μοντέλα. Από αυτά, 1,335 έχουν ανοιχτά βάρη και 2,232 μη — περίπου 37 σε κάθε εκατό υπάρχει κάτι που θα μπορούσες να κατεβάσεις σήμερα. Όπου η άδεια δεν έχει καταγραφεί ποτέ την θεωρούμε κλειστή, με την αρχή ότι μία αδήλωτη άδεια δεν είναι μία που να στηριζόμαστε.

Οι Παράμετροι είναι οι μαθημένες τιμές μέσα σε ένα μοντέλο — οι αριθμοί που προσαρμόζονται κατά τη διάρκεια της εκπαίδευσης και κωδικοποιούν όλα όσα γνωρίζει. Ένα μοντέλο που περιγράφεται ως 8B έχει γύρω στα οκτώ δισεκατομμύρια από αυτές, και η κάθε μία καταλαμβάνει χώρο στη μνήμη. Γι' αυτόν τον λόγο, ο αριθμός των παραμέτρων είναι η στήλη που έχει τη μεγαλύτερη σημασία εδώ: είναι το πιο κοντινό πράγμα σε μια άμεση δήλωση του πόσο υλικό χρειάζεται ένα μοντέλο.

Η σχέ relationshipση είναι κοντά στη γραμμική, αλλά η σταθερά εξαρτάται από το πώς αποθηκεύεται το MODEL. Σε πλήρη ακρίβεια, κάθε PARAMETER χρειάζεται δύο bytes, οπότε ένα μοντέλο οκτώ δισεκατομμυρίων παραμέτρων χρειάζεται δεκαέξι gigabytes πριν ληφθεί υπόψη οτιδήποτε άλλο. Συμπιεσμένο σε περίπου τέσσερα bits — το οποίο είναι αυτό που χρησιμοποιούν οι περισσότεροι άνθρωποι που τρέχουν μοντέλα τοπικά — το ίδιο μοντέλο χρειάζεται πιο κοντά σε πέντε, με μέτριο και συνήθως αποδεκτό κόστος στην ακρίβεια.

Δύο πράγματα το περιπλέκουν. Τα μοντέλα Μειγμάτων-Ειδικών κατευθύνουν κάθε σύμβολο μέσω μόνο ενός κλάσματος του εαυτού τους, έτσι ώστε να παράγουν κείμενο με την ταχύτητα κάτι που είναι πολύ μικρότερο ενώ χρειάζονται κάθε παράμετρο παρούσα στη μνήμη — γρήγορο, αλλά όχι φθηνό για να κρατηθεί. Και η συζήτηση από μόνη της απαιτεί μνήμη που αυξάνεται καθώς η συζήτηση εξελίσσεται, γι' αυτό και ένα μοντέλο που ταιριάζει άνετα για σύντομες ερωτήσεις μπορεί να αποτύχει σε ένα μεγάλο έγγραφο.

Το μεγαλύτερο δεν είναι αυτόματα καλύτερο, και ολοένα και λιγότερο είναι. Η ικανότητα ανά παράμετρο έχει βελτιωθεί τόσο δραστικά ώστε ένα πρόσφατο μοντέλο με οκτώ δισεκατομμύρια παραμέτρους έχει συνήθως καλύτερη απόδοση από ένα παλαιότερο, αρκετές φορές μεγαλύτερο, καθώς ταιριάζει σε υλικό που το παλαιότερο δεν θα ταίριαζε ποτέ. Η ταξινόμηση αυτού του καταλόγου κατά ημερομηνία κυκλοφορίας είναι συνήθως καλύτερος οδηγός από την ταξινόμηση κατά μέγεθος.

Σχεδόν κάθε μοντέλο σε αυτόν τον κατάλογο προέρχεται από μια μοναδική αρχιτεκτονική ιδέα που δημοσιεύθηκε το 2017, σε μια εργασία που ονομάζεται "Το Attention Είναι Όλα Όσα Χρειάζεστε". Εισήγαγε τον TRANSFORMER, ο οποίος επεξεργάζεται ολόκληρη τη σειρά ταυτόχρονα και μαθαίνει ποια μέρη της σχετίζονται με ποια — αντικαθιστώντας τους βήμα-βήμα επαναληπτικούς σχεδιασμούς που προηγήθηκαν, και κλιμακώνοντας πολύ καλύτερα από ό,τι εκείνοι. Κάθε μοντέλο που αναφέρεται εδώ που παράγει κείμενο είναι ένας TRANSFORMER ή ένας στενός συγγενής του.

Αυτό που ακολούθησε ήταν κυρίως μια επίδειξη ότι η αρχιτεκτονική συνέχιζε να βελτιώνεται με την κλίμακα. Διαδοχικά ΜΟΝΤΕΛ αυξάνονταν κατά διαταγές μεγέθους και γίνονταν αντίστοιχα πιο ικανά, κάτι που καθόρισε το μοτίβο για αρκετά χρόνια: περισσότερες παραμέτρους, περισσότερα δεδομένα εκπαίδευσης, περισσότερους υπολογισμούς. Μέχρι το 2020, τα μεγαλύτερα ΜΟΝΤΕΛ ήταν αρκετά ικανά ώστε να είναι εμπορικά σοβαρά, και ήταν προσβάσιμα μόνο ως πληρωμένες υπηρεσίες — τα βάρη παρέμειναν με όποιον τα εκπαίδευσε.

Η στροφή ήρθε το 2023, όταν πολλές οργανώσεις άρχισαν να δημοσιεύουν OPEN WEIGHTS για μοντέλα αρκετά καλά ώστε να αξίζει να τρέχουν. Αυτό άλλαξε την ερώτηση από το "σε ποια υπηρεσία πρέπει να εγγραφώ" σε "τι μπορεί να κάνει το δικό μου HARDWARE", και είναι ο λόγος που υπάρχει μια ιστοσελίδα όπως αυτή. Πριν από αυτό, η ερώτηση του HARDWARE δεν είχε καμία ουσιαστική απάντηση για τους περισσότερους ανθρώπους.

Τα χρόνια που πέρασαν έχουν να κάνουν λιγότερο με την κλίμακα και περισσότερο με την αποδοτικότητα. Καλύτερες μέθοδοι εκπαίδευσης, καλύτερα δεδομένα και αρχιτεκτονικές δουλειές όπως η δρομολόγηση μίγματος ειδικών έχουν αυξήσει την ικανότητα ανά παράμετρο, ενώ η ποσοτικοποίηση — η αποθήκευση κάθε βάρους σε τέσσερα ή πέντε bits αντί για δεκαέξι — μείωσε την ΜΝΗΜΗ που χρειάζεται ένα συγκεκριμένο μοντέλο κατά περίπου τρία τέταρτα. Μεταξύ τους, μοντέλα που κάποτε θα απαιτούσαν ένα κέντρο δεδομένων τώρα τρέχουν σε μια GPU ΚΑΡΤΑ γραφικών επιτραπέζιου υπολογιστή, που είναι η πρακτική ανάπτυξη στην οποία στηρίζεται ολόκληρος αυτός ο κατάλογος.

Το μεγαλύτερο μοντέλο στο αρχείο είναι BaGuaLu, φτάνοντας 173.9T παράμετροι. Σ' αυτή τη κλίμακα, ένα μοντέλο είναι υποδομή datacentre αντί για κάτι που κρατάει μια workstation, και το νούμερο είναι πιο χρήσιμο ως δείκτης του πού βρίσκεται το σύνορο παρά ως απόφαση αγοράς.

Ο κατάλογος καλύπτει έργα από 1,314 οργανισμοί, διασκορπισμένοι 50 χώρες. Αυτή η διασπορά αξίζει να σημειωθεί από μόνη της: η ανάπτυξη μοντέλων σταμάτησε να είναι συγκεντρωμένη σε μια χούφτα εργαστηρίων πριν από κάποιο καιρό, και αρκετά από τα πιο ευρέως χρησιμοποιούμενα open WEIGHT μοντέλα προέρχονται από οργανισμούς που δεν υπήρχαν πριν από μερικά χρόνια.

Οι μετρήσεις παραμέτρων καταγράφονται για 2,315 καταχωρήσεις, εκτός ενός καταλόγου που περιέχει 3,567. Οι κενές θέσεις είναι κυρίως κλειστά μοντέλα των οποίων οι κάτοχοι δεν δημοσίευσαν ποτέ ένα μέγεθος, και περιστασιακά ανοιχτά μοντέλα που κανείς δεν μέτρησε. Ένα μοντέλο χωρίς αυτόν τον αριθμό καταχωρείται αλλά δεν μπορεί να δοθεί εκτίμηση μνήμης ή ταχύτητας, καθώς κάθε ένας από αυτούς τους υπολογισμούς ξεκινά από αυτό.

Οι εγγραφές ξεκινούν σε 1950 και εκτέλεση σε 2026, Έτσι, ο κατάλογος είναι μια καταγραφή του τομέα αντί για μια στιγμιότυπη εικόνα του τι είναι τρέχον. Η φιλτράρισμα κατά έτος κυκλοφορίας είναι ο ταχύτερος τρόπος να περιοριστεί σε μοντέλα που αξίζει πραγματικά να εξεταστούν.