Πού να αγοράσω μια GPU για τοπική AI

Κάθε προμηθευτής που αναφέρεται εδώ πωλεί κάρτες GPU κατάλληλες για την εκτέλεση γλωσσικών μοντέλων στο δικό σας υλικό. Αυτό είναι μια πιο στενή δήλωση από ό, τι ακούγεται: μια κάρτα είναι σε αυτόν τον ιστότοπο γιατί διατηρούμε την πλήρη προδιαγραφή της και μπορούμε να διαπιστώσουμε ποια μοντέλα μπορεί να κρατήσει και με πόση ταχύτητα θα παράγει κείμενο σε αυτά. Εάν ψωνίζετε για υλικό για να εκτελέσετε ένα LLM τοπικά αντί να παίζετε παιχνίδια, αυτό είναι το μέρος της αγοράς που έχει σημασία.

Μια καταχώριση συνδέεται με μια συγκεκριμένη παραλλαγή πίνακα αντί με ένα όνομα καρτών, το οποίο είναι μια διάκριση που έχει μεγαλύτερη σημασία εδώ από οπουδήποτε αλλού. Το ίδιο όνομα συχνά πωλείται σε αρκετές χωρητικότητες μνήμης, και η χωρητικότητα είναι αυτή που αποφασίζει εάν ένα μοντέλο χωράει καθόλου — οπότε η καταχώριση που κοιτάζετε αναφέρει ακριβώς τον πίνακα που θα λαμβάνατε, και συνδέεται με τη σελίδα που δείχνει τι τρέχει εκείνος ο πίνακας.

Η σειρά που έχει σημασία για την εξαγωγή είναι σχεδόν ποτέ η σειρά που παράγει ένα benchmark παιχνιδιών. Η παραγωγή ενός token σημαίνει ότι διαβάζουμε τα βάρη του μοντέλου από την VRAM μία φορά, επομένως οι δύο προδιαγραφές που καθορίζουν το αποτέλεσμα είναι πόση μνήμη έχει η κάρτα — που καθορίζει αν ένα μοντέλο χωράει καθόλου — και πόσο γρήγορα διαβάζει αυτή τη μνήμη, που καθορίζει πόσο γρήγορα βγαίνουν τα tokens. Οι μετρήσεις πυρήνα και οι ταχύτητες ρολογιού μπαίνουν σπάνια σε αυτό.

Η πρακτική συνέπεια είναι ότι μια πιο αργή κάρτα με περισσότερη μνήμη συχνά νικά μια γρηγορότερη κάρτα με λιγότερη, επειδή η γρηγορότερη κάρτα απλά δεν μπορεί να κρατήσει το μοντέλο. Είναι το ένα μέρος όπου η φθηνή επιλογή είναι συχνά η σωστή, και ο λόγος που μια σελίδα κάρτας σε αυτόν τον ιστότοπο ξεκινά με χωρητικότητα αντί για σκορ αναφοράς.

Δουλέψτε ποια κάρτα θέλετε πριν αρχίσετε να συγκρίνετε τιμές. Ανοίξτε οποιαδήποτε καταχώριση εδώ και μπορείτε να δείτε τι τρέχει ακριβώς αυτή η κάρτα και περίπου πόσο γρήγορα, το οποίο είναι μια καλύτερη βάση για μια αγορά από έναν αριθμό τίτλο σε μια συσκευασία.

Η τιμή είναι ο προφανής άξονας και ο λιγότερο πλήρης. Μια καταχώρηση δείχνει την τιμή και το κόστος αποστολής ξεχωριστά γιατί και τα δύο είναι χρήματα που δαπανώνται για να αποκτήσει κανείς την ΚΑΡΤΑ, και μια χαμηλή τιμή με ακριβή αποστολή από άλλη ήπειρο δεν είναι η συμφωνία που φαίνεται. Όταν μια σελίδα ΚΑΡΤΑΣ δείχνει πολλές καταχωρήσεις, αυτές παρατίθενται με βάση το συνολικό κόστος και όχι με βάση την επικεφαλίδα.

Πέρα από την τιμή: αν η κάρτα είναι διαθέσιμη αυτή τη στιγμή, σε ποια κατάσταση βρίσκεται, για πόσο χρονικό διάστημα ισχύει η εγγύηση, από ποια χώρα αποστέλλεται και αν περιλαμβάνεται τροφοδοτικό — το οποίο αξίζει περισσότερο απ' ότι ακούγεται στις μεγαλύτερες κάρτες, καθώς συχνά χρειάζονται περισσότερα από όσα παρέχει μια τυπική τροφοδοσία επιτραπέζιου υπολογιστή. Η σελίδα του προμηθευτή συγκεντρώνει όλα όσα πωλούν σε έναν πίνακα, έτσι ώστε να μπορείτε να δείτε αν είναι ειδικοί ή καταχωρούν μια μόνο κάρτα.

Δεν πουλάμε υλικό, δεν παίρνουμε πληρωμές, δεν κρατάμε απόθεμα, ούτε διαχειριζόμαστε οποιοδήποτε μέρος μιας συναλλαγής. Κάθε καταχώριση δημοσιεύεται από τον προμηθευτή και κάθε αγορά γίνεται στον ιστότοπό τους, υπό τους όρους τους. Τίποτα εδώ δεν αποτελεί σύσταση για συγκεκριμένο πωλητή, και κανένας προμηθευτής δεν πληρώνει για να εμφανιστεί ή να καταταχθεί ψηλότερα - η σειρά είναι επιβεβαιωμένοι προμηθευτές πρώτα, μετά όποιος καταχωρίσει τους περισσότερους.

Οι τιμές εμφανίζονται όπως τις προμήθευσε ο προμηθευτής και μπορεί να είναι παλιές ανάμεσα στην ιστοσελίδα τους και αυτή τη σελίδα, επομένως θεωρήστε το ποσό εδώ ως σημείο εκκίνησης παρά ως προσφορά. Οι εξωτερικοί σύνδεσμοι δεν μεταφέρουν σήμα κατάταξης, κάτι που είναι μια σκόπιμη επιλογή: ένας κατάλογος που θα μετέφερε την εξουσία του σε κάθε καταχώριση σε αυτόν θα ήταν μια φάρμα συνδέσμων αντί για αναφορά.

Αυτό που προσθέτουμε είναι το μέρος που είναι δύσκολο να βρεθεί οπουδήποτε αλλού - η απάντηση στο τι θα τρέξει πραγματικά μια συγκεκριμένη CARD, υπολογισμένο αντί για αναφερόμενο, σε απόσταση ενός κλικ από την προσφορά.