Σχετικά με gputps.com

Για κάθε GPU εκτιμούμε πόσα tokens ανά δευτερόλεπτο μπορεί να παράγει τρέχοντας ένα συγκεκριμένο open-weight γλωσσικό μοντέλο, αν αυτό το μοντέλο χωράει πραγματικά στη μνήμη του, και σε ποια κβαντοποίηση. Δημοσιεύουμε αυτά δίπλα-δίπλα με τους πίνακες προδιαγραφών, έτσι ώστε η απόφαση αγοράς να βασίζεται σε μία πραγματική απάντηση και όχι σε αριθμούς VRAM και FLOPS που από μόνοι τους δεν λένε τίποτα σχετικά με την ταχύτητα συμπερασμού..

Η δημιουργία ενός token σημαίνει ότι διαβάζουμε τα βάρη ενός μοντέλου από την μνήμη μία φορά, οπότε η ταχύτητα αποκωδικοποίησης περιορίζεται από το εύρος ζώνης της μνήμης δια ώς το μέγεθος του μοντέλου — αυτή είναι η υπολογιστική διαδικασία πίσω από κάθε αριθμό σε αυτό το site. Αλλά η ίδια κάρτα και το μοντέλο διαφέρουν κατά 20–40% μεταξύ των κινητήρων επαγωγής, των εκδόσεων κινητήρων και των μορφών ποσοτικοποίησης, και κανένα φύλλο προδιαγραφών δεν το προβλέπει αυτό. Η δημοσίευση ενός αριθμού που φαίνεται σίγουρος θα ήταν ανέντιμη σχετικά με το πόσο ακριβής μπορεί να είναι αυτή η εκτίμηση. Έτσι, κάθε αριθμός σε αυτό το site αποστέλλεται ως εύρος, με τη μέθοδο και τις εισροές πίσω από αυτό, αντί για μια γυμνή τιμή σημείου..