GPU TPS Rechner

Dies ist eine Datenbank, die hält 818 Grafikkarten, gefiltert nach denen mit genügend MEMORY, um ein Sprachmodell überhaupt zu halten. Jede CARD hat ihre eigene Seite, und auf dieser Seite wurde jedes Modell, das wir verfolgen, dagegen bewertet — ob es passt, mit welcher Kompression und wie viele TOKENS pro Sekunde es wahrscheinlich produzieren wird.

Die Berechnung läuft, wenn Sie eine Karte öffnen, anstatt aus einer gespeicherten Tabelle nachgeschlagen zu werden, was es ermöglicht, dass die Kontextlänge und die minimale Qualität Dinge sind, die Sie festlegen, anstatt Dinge, die wir in Ihrem Namen angenommen haben. Ändern Sie entweder und jede Zahl wird neu berechnet.

Das Ausführen eines Sprachmodells auf eigener Hardware wurde in kurzer Zeit zu einer gewöhnlichen Sache. Open-Weight-Modelle haben sich weit genug entwickelt, um wirklich nützlich zu sein, und die Tools, um sie auszuführen, erforderten nicht mehr unbedingt einen Forschungs-Hintergrund. Was nicht gleichzeitig kam, war eine klare Antwort auf die erste Frage, die jeder fragt: Wird es auf der Karte, die ich bereits habe, laufen, und wird es schnell genug sein, um es zu nutzen?

Spezifikationsblätter beantworten dies nicht. Sie sind für Grafikarbeitslasten geschrieben und beginnen mit den Zahlen, die die Bildraten bestimmen, die fast vollständig die falschen sind. Die zwei Zahlen, die tatsächlich das Ergebnis bestimmen, sind der Speicherplatz, der festlegt, ob ein Modell passt, und die Speicherbandbreite, die festlegt, wie schnell es einmal generiert wird, sobald es passt.

Tokens pro Sekunde ist die Zahl, die das Ergebnis in etwas ausdrückt, das du fühlen kannst. Die Lesegeschwindigkeit liegt irgendwo bei etwa zehn Tokens pro Sekunde, also kommt alles, was darüber liegt, schneller an, als du es lesen kannst, und alles, was weit darunter liegt, fühlt sich wie Warten an. Das ist die Zahl, die diese Seite berechnet, für jede Kombination aus Karte und Modell, die sie hält.

Der Speicher im Katalog beginnt bei 4 GB und erreicht 288 GB. Dieser Bereich ist der Unterschied zwischen einer Karte, die auf die kleinsten verwendbaren Modelle beschränkt ist, und einer, die Modelle hält, die keine Desktop-Maschine erreichen kann — die Kapazität ist eine harte Grenze und kein allmählicher Kompromiss, daher passt ein Modell entweder oder es läuft nicht.

Der Speicherbandbreite beginnt bei 10 GB/s und erreicht 8,190 GB/s, eine Figur gehalten von Radeon Instinct MI355X. Da die Generierung jedes Tokens bedeutet, das gesamte Modell einmal aus dem VRAM zu lesen, übersetzt sich diese Verbreitung nahezu direkt in eine Verbreitung der Generierungsgeschwindigkeit: eine Karte mit zehnmal der Bandbreite produziert Tokens ungefähr zehnmal schneller mit demselben Modell.

Karten im Katalog sind hergestellt von AMD, ATI, Intel and NVIDIA. Der Hersteller spielt eine größere Rolle, als er sollte: Die Inferenzsoftware hat dem CUDA-Pfad weitaus mehr Aufmerksamkeit geschenkt als jedem anderen, sodass eine AMD- oder Intel-Karte mit vergleichbarer Bandbreite im Allgemeinen einen kleineren Anteil an ihrem theoretischen Maximum erreicht. Unsere Schätzungen wenden eine Strafe dafür an, anstatt vorzugeben, dass die Hardware die einzige Variable ist.

Die Leistungsaufnahme beginnt bei 6 W und erreicht 2,400 W. Das obere Ende ist Rechenzentrumshardware, die ein Desktop-Netzteil nicht versorgen kann, und es ist das Hindernis, das die Menschen tendenziell zuletzt entdecken — nachdem die Karte ins Budget und das Gehäuse passt.

Veröffentlichungsdaten beginnen am 2009 und führe aus 2025, Der Katalog umfasst sowohl Hardware, die die Menschen noch besitzen, als auch Hardware, die sie möglicherweise kaufen möchten. Eine ältere CARD ist nicht ausgeschlossen, nur weil sie alt ist – wenn sie über den nötigen MEMORY verfügt, kann sie immer noch ein MODEL ausführen, und die Seite wird angeben, wie schnell.

Händler können Karten zum Verkauf gegen jeden Eintrag in diesem Katalog auflisten, sodass eine Karten-Seite sowohl zeigt, was die Hardware ausführen kann, als auch wo sie gekauft werden kann. Die Auflistungen sind an die spezifische Platinenvariante und nicht an einen Modellnamen gebunden, was hier mehr zählt als normalerweise — derselbe Name deckt oft mehrere Speicherkapazitäten ab, und die Kapazität ist das, was entscheidet, welche Modelle laufen.