Berechne die TPS des GeForce GTX TITAN X auf lokalen KI-Modellen

NVIDIA 12 GB GDDR5 337 GB/s March 2015

Jedes Modell in unserem Katalog wurde anhand dieser Karte für das Kontextlängen und die Mindestqualität, die Sie wählen, bewertet. Die Geschwindigkeit ist eine Schätzung für eine einzelne Anfrage, berechnet aus der Speicherbandbreite dieser Karte und der Größe jedes Modells nach der Kompression..

Berechnet für diese Karte

396 Modelle, die es ausführen kann

679 Modelle in unserem Katalog insgesamt

Das größte Modell, das es hält

ERNIE-4.5-21B-A3B

21B · Q3_K_M · 86.5 tok/s

Schnellstes Modell

Gemma 3 QAT 1B

121 tok/s · 1B

Welche KI-Modelle können auf einem GeForce GTX TITAN X?

Setze die Eingaben, lies die Antwort

Mehr Kontext bedeutet mehr Speicher für den Gesprächs-Cache. Die Geschwindigkeit ist für ein frisches Gespräch und ändert sich nicht mit dieser Einstellung..

Blendet Modelle aus, die nur passen würden, wenn sie unter diesen Punkt komprimiert werden..

396 Modelle passen

Berechnung
Quantisierung Passend
121 tok/s

42–242 · niedrige Vertrauenswürdigkeit

Gemma 3 1B 1B Mar 2025 1.8 GB 33k Token Q8_0 Komfortabel
121 tok/s

42–242 · niedrige Vertrauenswürdigkeit

Gemma 3 QAT 1B 1B Apr 2025 1.8 GB 33k Token Q8_0 Komfortabel
121 tok/s

42–242 · niedrige Vertrauenswürdigkeit

HGRN 1B (WT 103) 1B Nov 2023 1.8 GB 131k Token ? Q8_0 Komfortabel
121 tok/s

42–242 · niedrige Vertrauenswürdigkeit

LLama 3..2 Typhoon 2 1B 1B Dec 2024 1.8 GB 131k Token ? Q8_0 Komfortabel
121 tok/s

42–242 · niedrige Vertrauenswürdigkeit

OLMo-1B 1B Feb 2024 1.8 GB 131k Token ? Q8_0 Komfortabel
121 tok/s

42–242 · niedrige Vertrauenswürdigkeit

Pythia-1b 1B Apr 2023 1.8 GB 131k Token ? Q8_0 Komfortabel
112 tok/s

39–224 · niedrige Vertrauenswürdigkeit

OpenELM-1.1B 1.1B May 2024 1.9 GB 131k Token ? Q8_0 Komfortabel
110 tok/s

39–220 · niedrige Vertrauenswürdigkeit

DeciCoder-1B 1.1B Aug 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
110 tok/s

39–220 · niedrige Vertrauenswürdigkeit

SantaCoder 1.1B Jan 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
110 tok/s

39–220 · niedrige Vertrauenswürdigkeit

TinyLlama-1.1B (1T token checkpoint) 1.1B Oct 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
110 tok/s

39–220 · niedrige Vertrauenswürdigkeit

TinyLlama-1.1B (3T token checkpoint) 1.1B Oct 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
101 tok/s

35–202 · niedrige Vertrauenswürdigkeit

EXAONE 4.0 (1.2B) 1.2B Jul 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
101 tok/s

35–202 · niedrige Vertrauenswürdigkeit

MinerU2.5 1.2B Sep 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
101 tok/s

35–202 · niedrige Vertrauenswürdigkeit

Pleias 1.0 1.2B 1.2B Dec 2024 2.0 GB 131k Token ? Q8_0 Komfortabel
101 tok/s

35–202 · niedrige Vertrauenswürdigkeit

Pleias-RAG-1B 1.2B Apr 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
98.5 tok/s

34–197 · niedrige Vertrauenswürdigkeit

Llama 3.2 1B 1.2B Sep 2024 2.2 GB 131k Token Q8_0 Komfortabel
97.1 tok/s

34–194 · niedrige Vertrauenswürdigkeit

DeepSeekMoE-16B 16B Jan 2024 10.0 GB 4k Token Q4_K_M knapp
97.1 tok/s

34–194 · niedrige Vertrauenswürdigkeit

MiniCPM-1.2B 1.2B Jun 2024 2.0 GB 131k Token ? Q8_0 Komfortabel
93.2 tok/s

33–186 · niedrige Vertrauenswürdigkeit

DeepSeek Coder 1.3B 1.3B Jan 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
93.2 tok/s

33–186 · niedrige Vertrauenswürdigkeit

DeepSeek-VL-1.3B 1.3B Mar 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
93.2 tok/s

33–186 · niedrige Vertrauenswürdigkeit

DigiRL 1.3B Jun 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
93.2 tok/s

33–186 · niedrige Vertrauenswürdigkeit

GLA Transformer 1.3B 1.3B Aug 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
93.2 tok/s

33–186 · niedrige Vertrauenswürdigkeit

Janus 1.3B 1.3B Oct 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
93.2 tok/s

33–186 · niedrige Vertrauenswürdigkeit

Kosmos-2.5 1.3B Aug 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
93.2 tok/s

33–186 · niedrige Vertrauenswürdigkeit

Otter 1.3B May 2023 2.1 GB 131k Token ? Q8_0 Komfortabel

Die Geschwindigkeiten sind Schätzungen für eine einzelne Anfrage — ein Gespräch zur Zeit — berechnet aus BANDWIDTH, MODELLGRÖSSE und QUANTISIERUNG. Der tatsächliche Durchsatz variiert mit der INFERENZLAUFZEIT und ihrer Version. Zahlen, die von Hardwareanbietern veröffentlicht wurden, messen viele gleichzeitige Anfragen und sind viel höher..

Aufgezeichnet

GeForce GTX TITAN X Volle Spezifikation

Alles auf Datei für dieses Board, geordnet danach, wie sehr es das Ausführen eines Sprachmodells beeinflusst, anstatt wie es in einem Datenblatt aufgeführt wäre. MEMORY kommt zuerst, weil es das Ergebnis bestimmt; der Rest ist CONTEXT..

Speicher

Die beiden Spezifikationen, die entscheiden, was diese CARD ausführen kann und wie schnell. Die Kapazität legt fest, welche Modelle passen; die Bandbreite bestimmt, wie viele Tokens pro Sekunde sie produzieren, sobald sie passen.

Speicherkapazität
12 GB
Speicherbandbreite
337 GB/s
Speichertype
GDDR5
Speicherdatenbreite
384 bit
Speichertakt
1.75 GHz

Der Chip

Welcher Prozessor sich auf der Platine befindet und wie er hergestellt wurde. Eine kleinere Prozessgröße bedeutet allgemein mehr Leistung bei gleicher Energie.

Grafikprozessor
GM200
Architektur
Maxwell 2.0
Generierung
GeForce 900
Gießerei
TSMC
Prozessgröße
28 nm
Transistoren
8 billion
Transistordichte
13,300 K/mm²
Die Größe
601 mm²
Paket
BGA-2152
Veröffentlicht
17 March 2015

Taktfrequenzen

Wie schnell der Prozessor läuft. Hier weit weniger wert als bei einem Gaming-Benchmark: Die Textgenerierung ist durch die Speicherbandbreite begrenzt, sodass eine höhere Taktfrequenz das Ergebnis kaum verbessert.

Basis-Takt
1 GHz
Boost-Takt
1.09 GHz

Verarbeitungseinheiten

Was der Chip enthält. Diese treiben die Grafikleistung und sind hauptsächlich für die Verarbeitung eines langen Prompts wichtig, statt für die Produktion der Antwort.

Shader-Einheiten
3,072
Texturzuordnungseinheiten
192
Render-Ausgabeeinheiten
96
Streaming-Multiprozessoren
24
L1-Cache
48 KB
L2-Cache
3 MB

Theoretische Leistung

Die veröffentlichten Spitzenarithmetikraten für die Karte. Dies sind Obergrenzen, die keine echte Arbeitslast erreicht, und das Generieren von Text erreicht nur einen kleinen Bruchteil davon, da es durch den Speicher und nicht durch die Arithmetik limitiert ist.

Einfache Genauigkeit (FP32)
6.7 TFLOPS
Doppelte Genauigkeit (FP64)
209.1 GFLOPS
Pixelrate
105 GPixel/s
Texturrate
209 GTexel/s

Die Platine

Was erforderlich ist, um die KArte physisch zu installieren und mit Strom zu versorgen — die praktischen Einschränkungen, die entscheiden, ob sie in die Maschine passt, die Sie bereits besitzen.

Leistungsaufnahme (TDP)
250 W
Vorgeschlagene Stromversorgung
600 W
Stromanschlüsse
1x 6-pin + 1x 8-pin
Bus-Schnittstelle
PCIe 3.0 x16
Slot-Breite
Dual-slot
Dimensionen
267 mm × 38 mm
Anzeigeausgaben
1x DVI, 1x HDMI 2.0, 3x DisplayPort 1.2

Software-Unterstützung

Welche Grafik- und Rechen-Schnittstellen die Karte unterstützt. CUDA-Rechenfähigkeit betrifft die Inferenz: unter 7.0 gibt es keine Tensor-Kerne, und moderne Inferenz-Software greift auf langsamere Code-Pfade zurück.

CUDA Berechnungsfähigkeit
5.2
DirectX
12.1
OpenGL
4.6
Vulkan
1.4
OpenCL
3.0
Shader-Modell
6.8

Auflistungen

Wo man ein GeForce GTX TITAN X

Derzeit listet kein Anbieter diese Karte. Die Angebote stammen von Anbietern, die sie hier direkt veröffentlichen. — Durchsuche das Anbieter-Verzeichnis zu sehen, wer was verkauft.

Was die Zahlen bedeuten

Was das Speicher-Subsystem für KI bedeutet

Speicher

12 GB

Bandbreite

337 GB/s

Größtes Modell

ERNIE-4.5-21B-A3B

GeForce GTX TITAN X trägt 12 GB von GDDR5. Das erreicht komfortabel kleine und mittelgroße Modelle, obwohl die größten außerhalb der Reichweite bleiben, ohne sie zu splitten. Der Treiber-Overhead lässt ungefähr 10.8 GB.

Der Speicherbandbreite erreicht 337 GB/s über einen Bus von 384 Bits. Das ist die Zahl, die die Generierungsgeschwindigkeit bestimmt — die arithmetischen Operationen pro gelesenem Byte sind klein genug, dass der Bus, nicht die Kerne, das ist, worauf alles wartet.

Die BANDWIDTH ist Taktfrequenz mal Busbreite, und diese KArte taktet ihren Speicher bei 1.75 GHz. Das Verbreitern des Busses und das Anheben der Taktfrequenz sind die beiden Hebel, die ein Hersteller hat, weshalb eine Karte mit unauffälligen Kernen trotzdem schnell erzeugen kann.

Das größte, was es hält, ist ERNIE-4.5-21B-A3B, 21B, komprimiert auf Q3_K_M und generieren etwa 86.5 Token pro Sekunde

Der Chip und wie er gebaut wurde

GeForce GTX TITAN X ist auf dem Grafikprozessor aufgebaut GM200, die Architektur verwenden Maxwell 2.0 von NVIDIA, als Teil der Generierung GeForce 900.

Der Chip wird hergestellt von TSMC, einem Prozess von 28 nm, mit einem Maß von 601 mm², halten 8 billion Transistoren. Ein kleinerer Prozess bedeutet im Allgemeinen mehr Leistung für die gleiche Energie, obwohl es bei Sprachmodellen weit weniger von Bedeutung ist als das MEMORY-SUBSYSTEM.

Es wurde veröffentlicht in March 2015, grob 11.375193451638 vor Jahren. Die Unterstützung von Inference-Software folgt in der Regel ein oder zwei Jahre hinter der Hardware, sodass eine Karte dieses Alters normalerweise über ausgereifte, gut optimierte Codepfade verfügt.

Rechen-Durchsatz, und warum er weniger wichtig ist, als er aussieht

FP64

209.1 GFLOPS

Der Durchsatz für doppelpräzises Rechnen erreicht 209.1 GFLOPS. Es hat keinen Einfluss auf das Ausführen eines Sprachmodells — keine Inferenzlaufzeit verwendet es — aber es trennt die Teile des Rechenzentrums von den Verbraucherteilen, da letztere es absichtlich einschränken.

Die Taktraten laufen von einer Basis von 1 GHz zu einem Schub von 1.09 GHz. Hier weit weniger wert als bei einem Gaming-Benchmark: das Anheben der Taktgeschwindigkeiten steigert die Arithmetik, und die Arithmetik ist nicht das, worauf die Generation wartet.

Cache und Verarbeitungseinheiten

GeForce GTX TITAN X hat einen L1-Cache von 48 KB, unterstützt von einem L2-Cache von 3 MB. Cache absorbiert einen Teil des MEMORY-Traffics, der ansonsten den MAIN BUS treffen würde, was der einzige Ort auf dieser Seite ist, an dem eine Zahl außer BANDWIDTH leise die GENERATIONSGESCHWINDIGKEIT beeinflusst — ein großes L2 lässt mehr des WORKING SETS nah an den CORES bleiben.

Es gibt 3,072 Shader-Einheiten, 192 Texturzuordnungseinheiten, und 96 Render-Ausgabeeinheiten. Diese treiben Grafikarbeitslasten und tragen zur Verarbeitung von Eingabeaufforderungen bei, aber sie sitzen den größten Teil der Zeit, die ein Modell benötigt, um eine Antwort zu generieren, untätig.

Leistung, Größe und Installation

Stromverbrauch

250 W

GeForce GTX TITAN X ist bewertet mit 250 W, und das empfohlene Systemnetzteil ist 600 W. Das Ausführen eines Sprachmodells hält eine GPU-Karte in Intervallen beschäftigt, anstatt kontinuierlich — sie zieht stark während der Generierung und wartet zwischen den Anfragen — daher liegt der nachhaltige Verbrauch über einen Arbeitstag normalerweise deutlich unter dem angegebenen Wert.

Die Karte belegt dual-slot, messen 267 mm lang, und benötigt 1x 6-pin + 1x 8-pin. Es lohnt sich, bereits das Gehäuse und das Netzteil in der Maschine zu überprüfen, da die größten KARTEN erheblich mehr von beidem benötigen, als ein typischer Desktop bereitstellt.

Es verbindet sich über PCIe 3.0 x16. Die Schnittstelle regelt, wie schnell ein Modell von der Festplatte in die Karte geladen wird, nicht wie schnell es dort läuft, daher kostet ein engerer Link ein paar Sekunden beim Start und danach nichts mehr.

Die Extreme

Die größten AI-Modelle, die auf einem GeForce GTX TITAN X

Die größten OPEN WEIGHT Modelle, die auf dieser CARD passen, neueste zuerst. Jedes wird mit der besten Kompression angezeigt, die die CARD halten kann..

  1. 01 ERNIE-4.5-21B-A3B 21B · Q3_K_M · Jun 2025 86.5 tok/s
  2. 02 GigaChat Lite (GigaChat-20B-A3B) 20B · Q3_K_M · Dec 2024 90.8 tok/s
  3. 03 InternLM2.5 20B · Q3_K_M · Aug 2024 16.4 tok/s
  4. 04 Granite 20B 20B · Q3_K_M · May 2024 16.4 tok/s
  5. 05 InternLM2-20B 20B · Q3_K_M · Jan 2024 16.4 tok/s
  6. 06 CogAgent 18B · IQ4_XS · Dec 2023 16.5 tok/s
  7. 07 SPHINX (Llama 2 13B) 19.9B · Q3_K_M · Nov 2023 16.4 tok/s
  8. 08 CogVLM-17B 17B · IQ4_XS · Nov 2023 17.5 tok/s
  9. 09 Flan UL2 19.5B · Q3_K_M · Mar 2023 16.8 tok/s
  10. 10 Palmyra Large 20B 20B · Q3_K_M · Mar 2023 16.4 tok/s

Die schnellsten AI-Modelle auf einer GeForce GTX TITAN X

Wo diese Karte die Token am schnellsten produziert. Kleinere Modelle dominieren hier, weil das Generieren jedes Tokens bedeutet, das gesamte Modell einmal aus dem VRAM zu lesen..

  1. 01 Gemma 3 QAT 1B 1B · Q8_0 · 1.8 GB 121 tok/s
  2. 02 Gemma 3 1B 1B · Q8_0 · 1.8 GB 121 tok/s
  3. 03 LLama 3..2 Typhoon 2 1B 1B · Q8_0 · 1.8 GB 121 tok/s
  4. 04 OLMo-1B 1B · Q8_0 · 1.8 GB 121 tok/s
  5. 05 HGRN 1B (WT 103) 1B · Q8_0 · 1.8 GB 121 tok/s
  6. 06 Pythia-1b 1B · Q8_0 · 1.8 GB 121 tok/s
  7. 07 OpenELM-1.1B 1.1B · Q8_0 · 1.9 GB 112 tok/s
  8. 08 TinyLlama-1.1B (1T token checkpoint) 1.1B · Q8_0 · 1.9 GB 110 tok/s
  9. 09 TinyLlama-1.1B (3T token checkpoint) 1.1B · Q8_0 · 1.9 GB 110 tok/s
  10. 10 DeciCoder-1B 1.1B · Q8_0 · 1.9 GB 110 tok/s

Schritt für Schritt

Wie man die Tokens pro Sekunde eines GeForce GTX TITAN X

Du musst nichts von Hand berechnen — der gputps.com Rechner auf dieser Seite hat es bereits für jedes Modell, das diese Karte halten kann, herausgefunden. Das Ablesen der Antwort erfordert sechs Schritte..

  1. 01

    Modell: KI-Modell Lauf: KI-Modell ausführen Passt nicht: Passt nicht in GPU VRAM Eng: Kaum lauffähig Komfortabel: Läuft leicht Offenes Gewicht: Open-Source KI-Modell In der Datei: In unserer Datenbank Veröffentlichungen: Neu veröffentlichte GPUs Speicher/Speichergebunden: GPU VRAM/Bandbreite Karte: GPU-Karte Kontextlänge: KI-Kontextfenster

    Die Tabelle listet 396 Modelle, die diese Karte ausführt. Die Suche verfeinert die Liste nach Namen oder nach Größe.

  2. 02

    Entscheide, wie lange deine Gespräche laufen

    Ziehe den Regler auf die Gesprächslänge, mit der du arbeiten möchtest. Der Cache wächst mit dem Gespräch und gegen eine Karte, die hält 12 GB das ist häufig der Unterschied zwischen einem Modell, das passt, und einem, das nicht passt.

  3. 03

    Vergleiche an ein Qualitätsniveau anheften

    Standardmäßig wählt die Tabelle die am wenigsten komprimierte Kopie, die passt. Das Festlegen eines Bodens entfernt Modelle, die nur durch starke Kompression qualifiziert sind.

  4. 04

    Schau dir das Spektrum an, nicht nur die Zahl.

    Die Zahlen sind berechnet, nicht gemessen. Das schnellste Ergebnis auf dieser Karte ist 121 tok/s auf Gemma 3 QAT 1B. Die gleiche Karte und das Modell variieren zwischen dreißig und fünfzig Prozent bei den Inferenzlaufzeiten.

  5. 05

    Lese das Urteil über die Passform zuletzt

    Tight bedeutet, dass es heute funktioniert; comfortable bedeutet, dass es weiterhin funktioniert, wenn das Gespräch wächst. Vergleiche, was jedes Modell benötigt, mit dem, was verfügbar ist. 12 GB.

  6. 06

    Überprüfung mit anderer Hardware

    Jede Modellseite wiederholt diese Berechnung für den gesamten Katalog. Ein Blick wert, bevor man entscheidet: es zeigt, was sonst das gleiche Modell ausführt, neben GeForce GTX TITAN X.

Antworten

GeForce GTX TITAN X — Häufige Fragen

01

GeForce GTX TITAN X— Wie viel Cache hat es?

Der L1-Cache ist 48 KB, und der L2-Cache ist 3 MB. Der Cache absorbiert einen Teil des Speicherverkehrs, der sonst den Hauptbus erreichen würde, sodass ein größeres L2 eine bescheidene Steigerung der Generierungsgeschwindigkeit über das hinaus bietet, was die Bandbreite allein vorhersagt.

02

GeForce GTX TITAN X— Unterstützt es CUDA?

Ja. Es berichtet über die CUDA-Berechnungskompetenz 5.2, das vor Tensor Cores existiert. Die Fähigkeit 7.0 und höher verfügt über Tensor-Kerne, die von moderner Inferenzsoftware verwendet werden; darunter greift sie auf langsamere Code-Pfade für quantisierte Modelle zurück.

03

GeForce GTX TITAN X— Welche Bus-Schnittstelle verwendet es?

Es verwendet PCIe 3.0 x16. Dies bestimmt, wie schnell ein Modell auf die GPU-Karte geladen wird, anstatt wie schnell es läuft, nachdem es geladen wurde, sodass es beim Start ein paar Sekunden kostet und während der Generierung nichts.

04

GeForce GTX TITAN X— Ist es gut, um lokale AI-Modelle auszuführen?

seine Speicher deckt kleine und mittelgroße Modelle ab, obwohl die größten unerreichbar sind, da seine Bandbreite bedeutet, dass die Generation bei größeren Modellen langsam erscheinen wird. Insgesamt läuft es 396 der Modelle, die wir verfolgen. Ob das genug ist, hängt ganz davon ab, welches Modell Sie möchten – die obige Tabelle beantwortet das direkt.

05

GeForce GTX TITAN X— kann es ein Modell ausführen, das nicht in seinen VRAM passt?

Das Auslagern über die Karte hinaus 12 GB im System-Speicher sitzen und mit einem Bruchteil der Geschwindigkeit laufen, sodass ein größtenteils ausgelagerter Modell selten den Einsatz wert ist. Jede Zahl hier geht davon aus, dass es vollständig auf der Karte resident ist.

06

Würden zwei GeForce GTX TITAN X Karten doppelt so schnell sein?

Nein. Eine zweite Karte verdoppelt den VRAM auf 24 GB von kombinierter VRAM, bei etwa der gleichen Generation Geschwindigkeit wie eine.

07

GeForce GTX TITAN X— Welche AI-Modelle kann es ausführen?

396 des 679 Open-Source-Sprachmodelle, die wir verfolgen, passen auf diese Karte und können lokal ausgeführt werden. Die Tabelle auf dieser Seite listet jedes einzelne auf, mit dem benötigten MEMORY, der QUANTISIERUNG, auf der es läuft, und einer geschätzten Generierungsgeschwindigkeit.

08

GeForce GTX TITAN X— Was ist das größte AI-MODEL, das es ausführen kann?

Das größte Modell in unserem Katalog, das passt, ist ERNIE-4.5-21B-A3B bei 21B Parameter, komprimiert auf Q3_K_M. Es generiert ungefähr 86.5 Tokens pro Sekunde und benötigt etwa 10.1 GB des Speichers der Karte.

09

GeForce GTX TITAN X— Wie viele Tokens pro Sekunde produziert es?

Es hängt vom Modell ab. Das schnellste Modell, das wir hier verfolgen, ist Gemma 3 QAT 1B ungefähr 121 Tokens pro Sekunde, während größere Modelle verhältnismäßig langsamer laufen, da jedes Token das vollständige Modell einmal aus dem Speicher lesen muss. Geschwindigkeiten sind Schätzungen für ein einzelnes Gespräch gleichzeitig.

10

GeForce GTX TITAN X— Kann es laufen 7B Modelle?

Ja. Es läuft. DeepSeek Coder 6.7B bei Q6_K, verwenden von etwa 9.9 GB VRAM und generieren etwa 26.3 Token pro Sekunde

11

GeForce GTX TITAN X— Kann es laufen 13B Modelle?

Ja. Es läuft. DeepSeekMoE-16B bei Q4_K_M, verwenden von etwa 10.0 GB VRAM und generieren etwa 97.1 Token pro Sekunde

12

GeForce GTX TITAN X— wie viel VRAM hat es?

Diese Karte hat 12 GB von GDDR5. Rund ein Zehntel wird von der Inferenzlaufzeit und dem Treiber reserviert, was ungefähr 10.8 GB verfügbar für ein Modell und dessen Konversation.

13

GeForce GTX TITAN X— Was ist seine Speicherbandbreite?

Der Speicherbandbreite erreicht 337 GB/s über einen Bus von 384 Bits. Dies ist der einzige beste Prädiktor dafür, wie schnell es Text generiert, da das Erzeugen jedes Tokens bedeutet, das gesamte Modell einmal aus dem Speicher zu lesen.

14

GeForce GTX TITAN X— Welche Art von MEMORY verwendet es?

Es verwendet GDDR5 getaktet bei 1.75 GHz. HBM-Typen sind auf Rechenzentrum-Beschleunigern zu finden und verfügen über weitaus mehr Bandbreite als das GDDR, das auf Desktop-Karten verwendet wird, weshalb sie bei gleicher Kapazität erheblich schneller Tokens erzeugen.

15

GeForce GTX TITAN X— Wer macht es?

Dies ist ein Produkt von NVIDIA, mit dem von ... hergestellten Chip TSMC, einem Prozess von 28 nm.

16

GeForce GTX TITAN X— Wann wurde es veröffentlicht?

Es wurde veröffentlicht in March 2015.

17

GeForce GTX TITAN X— Wie viel Leistung verbraucht es?

Bewertete Boardleistung ist 250 W, und das empfohlene Systemnetzteil ist 600 W. Die Textgenerierung erfordert während der Spitzenzeiten viel Leistung und idle zwischen den Anfragen, sodass der durchschnittliche Verbrauch während einer Arbeitssitzung normalerweise weit unter der angegebenen Zahl liegt.

Die andere Richtung

Von der anderen Seite aus betrachten?

Diese Seite beginnt mit der Hardware. Wenn Sie bereits wissen, welches Modell Sie möchten und wissen müssen, was benötigt wird, um es auszuführen., Beginnen Sie mit dem Modell anstelle..

Alle GPUs