Συχνές ερωτήσεις

Είναι πόσο γρήγορα ένα γλωσσικό μοντέλο παράγει κείμενο σε μια δεδομένη GPU — πόσα tokens (χονδρικά, κομμάτια λέξεων) παράγει κάθε δευτερόλεπτο ενώ συνομιλείτε μαζί του. Ένας υψηλότερος αριθμός σημαίνει ότι οι απαντήσεις ρέουν πιο γρήγορα.

Αναμένετε ότι ο πραγματικός αριθμός θα κυμαίνεται περίπου μεταξύ 20–40% της εκτίμησης. Η ίδια GPU και το μοντέλο διαφέρουν τόσο πολύ μεταξύ των inference engines, των εκδόσεων των μηχανών και της διαμόρφωσης εξυπηρέτησης — κανένα φύλλο προδιαγραφών δεν το προβλέπει αυτό, γι' αυτό κάθε αριθμός σε αυτή την τοποθεσία δημοσιεύεται ως εύρος αντί για έναν μόνο αριθμό.

Η απόδοση που δημοσιεύεται από τον προμηθευτή μετριέται συνήθως εξυπηρετώντας εκατοντάδες αιτήματα ταυτόχρονα. Ο αριθμός μας είναι για ένα άτομο που μιλάει στο μοντέλο, ένα αίτημα κάθε φορά — ο αριθμός που περιγράφει πραγματικά την εκτέλεση ενός μοντέλου τοπικά. Οι δύο δεν είναι συγκρίσιμοι.

Ότι τα βάρη του μοντέλου, η cache συνομιλίας του και η δική του υπερβολή χρόνου εκτέλεσης χωρούν όλα μέσα στη χρησιμοποιήσιμη μνήμη της κάρτας σε μια δεδομένη ποσοτικοποίηση. Ένα μοντέλο μπορεί να χωράει στενά, άνετα ή καθόλου — δείχνουμε ποιο, μαζί με το πόσο περιθώριο απομένει.

Η ποσοτικοποίηση συμπιέζει τα βάρη ενός μοντέλου για να εξοικονομήσει VRAM, με μικρό κόστος στην ποιότητα εξόδου. Ένα μοντέλο που δεν χωράει σε πλήρη ακρίβεια συχνά χωράει άνετα σε χαμηλότερη ποσοτικοποίηση — πάντα αναφέρουμε την καλύτερη ποιότητα που ταιριάζει σε μια συγκεκριμένη κάρτα.

Χιλιάδες καρτών από NVIDIA, AMD, Intel και Apple Silicon, από επιταχυντές κέντρων δεδομένων μέχρι καταναλωτικές κάρτες. Η κάλυψη και η εκτίμηση εμπιστοσύνης είναι καλύτερες σε σύγχρονα υλικά NVIDIA, όπου οι υποκείμενες μηχανές συμπερασμού είναι οι πιο ώριμες.

Ναι — η περιήγηση σε GPUs, μοντέλα και κάθε εκτίμηση στην ιστοσελίδα είναι δωρεάν, χωρίς να απαιτείται λογαριασμός.

Καταχωρήστε έναν δωρεάν λογαριασμό προμηθευτή και προσθέστε τις καταχωρίσεις σας — εμφανίζονται άμεσα στη σελίδα της αντίστοιχης κάρτας. Δείτε τη σελίδα γίνετε-προμηθευτής για το πώς λειτουργεί και τις τρέχουσες τιμές.