Dove acquistare una GPU per AI locale

Ogni venditore elencato qui vende schede grafiche adatte a eseguire modelli linguistici sulla propria hardware. Questo è un'affermazione più ristretta di quanto sembri: una scheda è su questo sito perché abbiamo la sua specifica completa e possiamo capire quali modelli può contenere e quanto velocemente genererà testo su di essi. Se stai cercando hardware per eseguire un LLM localmente piuttosto che per giocare, questa è la parte del mercato che conta.

Un elenco è associato a una variante specifica della scheda piuttosto che a un nome della card, che è una distinzione che qui conta più che in quasi ogni altro posto. Lo stesso nome è spesso venduto in diverse capacità di memoria, e la capacità è ciò che decide se un modello si adatta o meno — quindi l'elenco che stai esaminando indica esattamente la scheda che riceveresti e si collega alla pagina che mostra cosa esegue quella scheda.

L'ordinamento che importa per l'inferenza è quasi mai l'ordinamento prodotto da un benchmark di gioco. Generare un token significa leggere i pesi del modello dalla VRAM una volta, quindi le due specifiche che decidono l'esito sono quanti memoria ha la card — che stabilisce se un modello si adatta o meno — e quanto velocemente legge quella memoria, che stabilisce la velocità con cui i token escono. I conteggi dei core e le velocità di clock entrano a malapena in gioco.

La conseguenza pratica è che una scheda più lenta con più memoria batte frequentemente una scheda più veloce con meno, perché la scheda più veloce semplicemente non può contenere il modello. È l'unico posto in cui l'opzione dall'aspetto economico è spesso quella giusta, e il motivo per cui una pagina di scheda su questo sito inizia con la capacità piuttosto che con un punteggio di benchmark.

Scopri quale scheda vuoi prima di iniziare a confrontare i prezzi. Apri qualsiasi elenco qui e puoi vedere come funziona esattamente quella scheda e all'incirca quanto è veloce, il che è una base migliore per un acquisto rispetto a un numero principale su una scatola.

Il prezzo è l'asse ovvio e il meno completo. Un elenco mostra il prezzo e il costo di spedizione separatamente perché entrambi sono soldi spesi per possedere la card, e un prezzo basso con una consegna costosa da un altro continente non è l'affare che sembra. Quando una pagina della card mostra diversi elenchi, sono ordinati per quel totale piuttosto che per la cifra principale.

Oltre al prezzo: se la CARD è attualmente disponibile, in che condizione si trova, quanto dura la garanzia, da quale paese viene spedita e se è inclusa un'unità di alimentazione — il che vale più di quanto sembri sulle CARD più grandi, poiché spesso necessitano di più di quanto fornisce un'unità di alimentazione desktop tipica. La pagina del venditore raccoglie tutto ciò che vendono in un'unica tabella, così puoi vedere se sono uno specialista o se stanno elencando una singola CARD.

Non vendiamo hardware, non accettiamo pagamenti, non teniamo magazzino e non gestiamo alcuna parte di una transazione. Ogni annuncio è pubblicato dal venditore stesso e ogni acquisto avviene sul loro sito, secondo i loro termini. Niente qui è una raccomandazione di un particolare venditore e nessun venditore paga per apparire o per classificarsi più in alto — l'ordine è venditori verificati prima, poi chiunque elenchi di più.

I prezzi sono mostrati come forniti dal venditore e possono diventare obsoleti tra il loro sito e questa pagina, quindi considera la cifra qui come un punto di partenza piuttosto che un preventivo. I link esterni non portano alcun segnale di ranking, il che è una scelta deliberata: un direttorio che trasferisse la sua autorità a ogni elenco su di esso sarebbe una fattoria di link piuttosto che un riferimento.

Quello che aggiungiamo è la parte che è difficile trovare altrove — la risposta a cosa una certa CARD eseguirà veramente, calcolata piuttosto che citata, a un clic dall'offerta.