Calcolatore TPS GPU

Questo è un database che contiene 818 schede grafiche, filtrate fino a quelle con sufficiente VRAM per contenere un modello di linguaggio. Ogni scheda ha la propria pagina, e su quella pagina ogni modello che monitoriamo è stato valutato rispetto ad essa — se si adatta, a quale compressione e quanti token al secondo è probabile che produca.

Il calcolo viene eseguito quando apri una CARD piuttosto che essere cercato da una tabella memorizzata, il che consente alla CONTEXT LENGTH e alla qualità minima di essere impostate da te piuttosto che cose che abbiamo assunto per tuo conto. Cambia uno qualsiasi e ogni cifra viene ricalcolata.

Eseguire un modello di linguaggio sul proprio hardware è diventata una cosa ordinaria da fare in poco tempo. I modelli open weight hanno raggiunto un livello sufficiente per essere davvero utili, e gli strumenti per eseguirli hanno smesso di richiedere un background di ricerca. Ciò che non è arrivato insieme a questo è una risposta chiara alla prima domanda che chiunque faccia: funzionerà sulla scheda che ho già e sarà abbastanza veloce da valere la pena di essere utilizzato.

Le schede tecniche non rispondono a questo. Sono scritte per i carichi di lavoro grafici e iniziano con i numeri che decidono i frame rate, che sono quasi completamente sbagliati. I due numeri che decidono realmente l'esito sono la capacità di memoria, che determina se un modello si adatta, e la larghezza di banda della memoria, che stabilisce quanto velocemente genera una volta che lo fa.

I Token al secondo sono il numero che esprime il risultato in qualcosa che puoi percepire. La velocità di lettura è di circa dieci token al secondo, quindi qualsiasi cosa sopra quella arriva più velocemente di quanto tu possa leggerla e qualsiasi cosa ben al di sotto sembra un'attesa. Questa è la cifra che questo sito calcola, per ogni combinazione di card e model che detiene.

La memoria nel catalogo inizia a 4 GB e raggiunge 288 GB. Quella gamma è la differenza tra una CARD limitata ai modelli più piccoli utilizzabili e una che contiene modelli che nessuna macchina da desk può toccare — la CAPACITÀ è un gate rigido piuttosto che un compromesso graduale, quindi un MODELLO o si adatta o non viene eseguito.

La larghezza di banda della MEMORIA inizia a 10 GB/s e raggiunge 8,190 GB/s, una figura tenuta da Radeon Instinct MI355X. Poiché generare ogni token significa leggere l'intero modello dalla memoria una volta, quella dispersione si traduce quasi direttamente in una dispersione nella velocità di generazione: una scheda con dieci volte la larghezza di banda produce token circa dieci volte più velocemente sullo stesso modello.

Le schede nel catalogo sono prodotte da AMD, ATI, Intel and NVIDIA. Il produttore conta più di quanto dovrebbe: il software di inferenza ha ricevuto molta più attenzione per il percorso CUDA rispetto a qualsiasi altro, quindi una scheda AMD o Intel di larghezza di banda equivalente raggiunge generalmente una quota inferiore al suo tetto teorico. Le nostre stime applicano una penalità per questo piuttosto che pretendere che l'hardware sia l'unica variabile.

Il consumo di energia inizia a 6 W e raggiunge 2,400 W. L'estremità superiore è l'hardware del datacenter che un'alimentazione desktop non può alimentare, ed è la limitazione che le persone tendono a scoprire per ultime — dopo che la CARD rientra nel budget e il case.

Le date di rilascio iniziano nel 2009 e eseguire a 2025, quindi il catalogo copre l'hardware che le persone possiedono ancora, così come l'hardware che potrebbero acquistare. Una scheda più vecchia non è esclusa per essere vecchia — se ha la MEMORY, può ancora eseguire un AI MODEL, e la pagina dirà quanto è veloce.

I fornitori possono elencare le schede in vendita contro qualsiasi voce di questo catalogo, quindi una pagina della scheda può mostrare sia ciò che l'hardware può eseguire sia dove può essere acquistato. Gli elenchi sono collegati alla specifica variante della scheda piuttosto che a un nome di modello, che qui è più importante di quanto lo sarebbe normalmente — lo stesso nome copre spesso diverse capacità di memoria, e la capacità è ciò che decide quali modelli possono essere eseguiti.