Über gputps.com

Für jede GPU schätzen wir, wie viele Tokens pro Sekunde sie generieren kann, während sie ein bestimmtes OPEN WEIGHT Sprachmodell ausführt, ob dieses Modell tatsächlich in ihren MEMORY passt und bei welcher QUANTISIERUNG. Wir veröffentlichen diese neben den Spezifikationstabellen, sodass eine Kaufentscheidung auf einer tatsächlichen Antwort basiert, anstatt nur auf RAW VRAM- und FLOPS-Zahlen, die allein nichts über die Inferenzgeschwindigkeit aussagen..

Das Generieren eines Tokens bedeutet, die Gewichte eines Modells einmal aus dem VRAM zu lesen, sodass die Dekodiergeschwindigkeit durch die Speicherbandbreite geteilt durch die Modellgröße begrenzt ist - das ist die Berechnung hinter jeder Zahl auf dieser Seite. Aber die gleiche Karte und das gleiche Modell variieren um 20–40 % zwischen Inferenz-Engines, Engine-Versionen und Quantisierungsformaten, und kein Datenblatt sagt das vorher. Die Veröffentlichung einer vertrauenswürdig aussehenden Zahl wäre unehrlich darüber, wie genau diese Art von Schätzung tatsächlich sein kann. Daher wird jede Zahl auf dieser Seite als Bereich angegeben, mit der Methode und den Eingaben dahinter, anstatt als bloßer Punktwert..