Υπολογιστής GPU TPS

Αυτή είναι μια βάση δεδομένων που κρατά 818 γραφικές κάρτες, φιλτραρισμένες προς αυτές με αρκετή μνήμη για να κρατήσουν ένα μοντέλο γλώσσας. Κάθε κάρτα έχει τη δική της σελίδα, και σε αυτή τη σελίδα κάθε μοντέλο που παρακολουθούμε έχει αξιολογηθεί σε σχέση με αυτή — αν ταιριάζει, με ποια συμπίεση, και πόσους τοκέν ανά δευτερόλεπτο είναι πιθανό να παράγει.

Η υπολογιστική διαδικασία εκτελείται όταν ανοίγετε μια κάρτα αντί να αναζητείται από έναν αποθηκευμένο πίνακα, το οποίο επιτρέπει το context length και την ελάχιστη ποιότητα να είναι πράγματα που ορίζετε εσείς αντί για πράγματα που υποθέσαμε εκ μέρους σας. Αλλάξτε οποιοδήποτε και κάθε αριθμό ξαναυπολογίζεται.

Η εκτέλεση ενός γλωσσικού ΜΟΝΤΕΛΟΥ πάνω στο δικό σας υλικό έγινε κάτι συνηθισμένο σε σύντομο χρονικό διάστημα. Τα ανοιχτού βάρους ΜΟΝΤΕΛΑ έφτασαν αρκετά κοντά ώστε να είναι πραγματικά χρήσιμα, και τα εργαλεία για την εκτέλεσή τους σταμάτησαν να απαιτούν υπόβαθρο έρευνας. Αυτό που δεν ήρθε παράλληλα με αυτό ήταν μια καθαρή απάντηση στην πρώτη ερώτηση που κάνει ο καθένας: θα τρέξει στην ΚΑΡΤΑ που ήδη έχω και θα είναι αρκετά γρήγορο ώστε να αξίζει να χρησιμοποιηθεί.

Οι προδιαγραφές δεν το απαντούν. Είναι γραμμένες για γραφικά φορτία εργασίας και επικεντρώνονται σε αριθμούς που καθορίζουν τα καρέ ανά δευτερόλεπτο, οι οποίοι είναι σχεδόν εξ ολοκλήρου λάθος. Οι δύο αριθμοί που πραγματικά καθορίζουν το αποτέλεσμα είναι η χωρητικότητα μνήμης, η οποία καθορίζει αν ένα μοντέλο χωράει, και η διαμεταγωγή μνήμης, η οποία καθορίζει πόσο γρήγορα παράγει μόλις χωράει.

Οι Τokens ανά δευτερόλεπτο είναι ο αριθμός που εκφράζει το αποτέλεσμα σε κάτι που μπορείς να αισθανθείς. Η ταχύτητα ανάγνωσης είναι κάπου γύρω στους δέκα TOKENS ανά δευτερόλεπτο, οπότε οτιδήποτε πάνω από αυτό φτάνει γρηγορότερα από ότι μπορείς να το διαβάσεις και οτιδήποτε χαμηλότερα αισθάνεται σαν αναμονή. Αυτός είναι ο αριθμός που υπολογίζει αυτός ο ιστότοπος, για κάθε συνδυασμό ΚΑΡΤΑΣ και ΜΟΝΤΕΛΟΥ που διαθέτει.

Η Μνήμη στον κατάλογο ξεκινά από 4 GB και φτάνει 288 GB. Αυτή η γκάμα είναι η διαφορά μεταξύ μιας κάρτας περιορισμένης στα μικρότερα χρησιμοποιήσιμα μοντέλα και μιας που κατέχει μοντέλα που καμία επιτραπέζια μηχανή δεν μπορεί να αγγίξει — η χωρητικότητα είναι μια σκληρή πύλη αντί για μια σταδιακή ανταλλαγή, οπότε ένα μοντέλο είτε χωράει είτε δεν τρέχει.

Η εύρος ζώνης μνήμης ξεκινά από 10 GB/s και φτάνει 8,190 GB/s, μια φιγούρα που κρατάει Radeon Instinct MI355X. Επειδή η παραγωγή κάθε token σημαίνει ότι διαβάζουμε ολόκληρο το μοντέλο από το VRAM μία φορά, αυτή η διάχυση μεταφράζεται σχεδόν απευθείας σε μια διάχυση στη ταχύτητα παραγωγής: μια κάρτα με δέκα φορές το bandwidth παράγει tokens περίπου δέκα φορές ταχύτερα στο ίδιο μοντέλο.

Οι Κάρτες στον κατάλογο κατασκευάζονται από AMD, ATI, Intel and NVIDIA. Ο κατασκευαστής έχει μεγαλύτερη σημασία από ό,τι θα έπρεπε: το λογισμικό συμπερασμού έχει λάβει πολύ περισσότερη προσοχή στην πορεία CUDA από οποιαδήποτε άλλη, οπότε μια κάρτα AMD ή Intel με ισοδύναμο εύρος ζώνης γενικά φτάνει σε ένα μικρότερο μερίδιο της θεωρητικής οροφής της. Οι εκτιμήσεις μας εφαρμόζουν μια ποινή γι' αυτό παρά να προσποιούνται ότι το υλικό είναι η μόνη μεταβλητή.

Η κατανάλωση ενέργειας ξεκινά από 6 W και φτάνει 2,400 W. Το ανώτερο άκρο είναι το υλικό κέντρου δεδομένων που μια τροφοδοσία γραφείου δεν μπορεί να τροφοδοτήσει, και είναι ο περιορισμός που οι άνθρωποι τείνουν να ανακαλύπτουν τελευταίοι — αφού η κάρτα ταιριάζει στον προϋπολογισμό και την θήκη.

Οι ημερομηνίες κυκλοφορίας ξεκινούν σε 2009 και εκτέλεση σε 2025, έτσι ο κατάλογος καλύπτει την υλικοτεχνική υποδομή που έχουν ακόμα οι άνθρωποι καθώς και την υλικοτεχνική υποδομή που μπορεί να αγοράσουν. Μια παλαιότερη κάρτα δεν αποκλείεται λόγω ηλικίας — αν διαθέτει τη μνήμη, μπορεί ακόμα να τρέξει ένα μοντέλο, και η σελίδα θα αναφέρει πόσο γρήγορα.

Οι προμηθευτές μπορούν να καταχωρήσουν κάρτες προς πώληση κατά των οποιωνδήποτε καταχωρίσεων σε αυτόν τον κατάλογο, οπότε μια σελίδα κάρτας μπορεί να δείξει τόσο το τι θα τρέξει το υλικό όσο και πού μπορεί να αγοραστεί. Οι καταχωρίσεις συνδέονται με την συγκεκριμένη παραλλαγή της κάρτας αντί με το όνομα ενός μοντέλου, το οποίο έχει περισσότερη σημασία εδώ απ' ό,τι συνήθως — το ίδιο όνομα καλύπτει συχνά πολλές χωρητικότητες μνήμης και η χωρητικότητα είναι το πράγμα που αποφασίζει ποια μοντέλα τρέχουν.