Informazioni su gputps.com

Per ogni GPU stimiamo quanti token al secondo può generare eseguendo un dato modello linguistico open-weight, se quel modello si adatta effettivamente alla sua memoria e a quale quantizzazione. Pubbliciamo questi dati affiancati alle tabelle delle specifiche, in modo che una decisione di acquisto sia basata su una risposta reale piuttosto che su numeri di VRAM e FLOPS che da soli non dicono nulla sulla velocità di inferenza..

Generare un token significa leggere i pesi di un modello dalla memoria una volta, quindi la velocità di decodifica è vincolata dalla larghezza di banda della memoria divisa per la dimensione del modello — questa è la formula dietro ogni cifra su questo sito. Ma la stessa card e modello variano dal 20 al 40% tra motori di inferenza, versioni del motore e formati di quantizzazione, e nessuna scheda tecnica può prevederlo. Pubblicare un numero dall'aspetto sicuro sarebbe disonesto riguardo alla precisione di questo tipo di stima. Quindi ogni cifra su questo sito è presentata come un intervallo, con il metodo e gli input dietro di esso, piuttosto che un valore puntuale nudo..