Berechnen Sie die TPS der Radeon RX 9070 XT zu lokalen AI-Modellen
Jedes Modell in unserem Katalog wird anhand dieser Karte bei der von Ihnen gewählten Kontextlänge und Mindestqualität bewertet. Die Geschwindigkeit ist eine Schätzung für eine einzelne Anfrage, berechnet aus der Speicherbandbreite dieser Karte und der Größe jedes Modells nach der Komprimierung..
Berechnet für diese Karte
679 Modelle in unserem Katalog insgesamt
Das größte Modell, das es hält
Nemotron 3-Nano-30B-A3B
31.6B · Q3_K_M · 101 tok/s
Schnellstes Modell
Gemma 3 QAT 1B
213 tok/s · 1B
Welche KI-Modelle können auf einem laufen Radeon RX 9070 XT?
Stellen Sie die Eingaben ein, lesen Sie die Antwort.
Mehr Kontext bedeutet mehr Speicher für den Gesprächs-Cache. Die Geschwindigkeit bezieht sich auf ein neues Gespräch und ändert sich durch diese Einstellung nicht.
Verbirgt Modelle, die nur passen würden, wenn sie unter diesen Punkt komprimiert werden.
432 Modelle stimmen überein
Berechnung| Quantisierung | Passgenau | ||||||
|---|---|---|---|---|---|---|---|
|
213
tok/s
128–341 · niedrige Verlässlichkeit |
Gemma 3 1B | 1B | Mar 2025 | 1.8 GB | 33k tokens | Q8_0 | Bequem |
|
213
tok/s
128–341 · niedrige Verlässlichkeit |
Gemma 3 QAT 1B | 1B | Apr 2025 | 1.8 GB | 33k tokens | Q8_0 | Bequem |
|
213
tok/s
128–341 · niedrige Verlässlichkeit |
HGRN 1B (WT 103) ≈ | 1B | Nov 2023 | 1.8 GB | 131k tokens ? | Q8_0 | Bequem |
|
213
tok/s
128–341 · niedrige Verlässlichkeit |
LLama 3..2 Typhoon 2 1B ≈ | 1B | Dec 2024 | 1.8 GB | 131k tokens ? | Q8_0 | Bequem |
|
213
tok/s
128–341 · niedrige Verlässlichkeit |
OLMo-1B ≈ | 1B | Feb 2024 | 1.8 GB | 131k tokens ? | Q8_0 | Bequem |
|
213
tok/s
128–341 · niedrige Verlässlichkeit |
Pythia-1b ≈ | 1B | Apr 2023 | 1.8 GB | 131k tokens ? | Q8_0 | Bequem |
|
197
tok/s
118–315 · niedrige Verlässlichkeit |
OpenELM-1.1B ≈ | 1.1B | May 2024 | 1.9 GB | 131k tokens ? | Q8_0 | Bequem |
|
194
tok/s
116–310 · niedrige Verlässlichkeit |
DeciCoder-1B ≈ | 1.1B | Aug 2023 | 1.9 GB | 131k tokens ? | Q8_0 | Bequem |
|
194
tok/s
116–310 · niedrige Verlässlichkeit |
SantaCoder ≈ | 1.1B | Jan 2023 | 1.9 GB | 131k tokens ? | Q8_0 | Bequem |
|
194
tok/s
116–310 · niedrige Verlässlichkeit |
TinyLlama-1.1B (1T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k tokens ? | Q8_0 | Bequem |
|
194
tok/s
116–310 · niedrige Verlässlichkeit |
TinyLlama-1.1B (3T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k tokens ? | Q8_0 | Bequem |
|
177
tok/s
106–284 · niedrige Verlässlichkeit |
EXAONE 4.0 (1.2B) ≈ | 1.2B | Jul 2025 | 2.0 GB | 131k tokens ? | Q8_0 | Bequem |
|
177
tok/s
106–284 · niedrige Verlässlichkeit |
MinerU2.5 ≈ | 1.2B | Sep 2025 | 2.0 GB | 131k tokens ? | Q8_0 | Bequem |
|
177
tok/s
106–284 · niedrige Verlässlichkeit |
Pleias 1.0 1.2B ≈ | 1.2B | Dec 2024 | 2.0 GB | 131k tokens ? | Q8_0 | Bequem |
|
177
tok/s
106–284 · niedrige Verlässlichkeit |
Pleias-RAG-1B ≈ | 1.2B | Apr 2025 | 2.0 GB | 131k tokens ? | Q8_0 | Bequem |
|
173
tok/s
104–277 · niedrige Verlässlichkeit |
Llama 3.2 1B | 1.2B | Sep 2024 | 2.2 GB | 131k tokens | Q8_0 | Bequem |
|
171
tok/s
102–273 · niedrige Verlässlichkeit |
MiniCPM-1.2B ≈ | 1.2B | Jun 2024 | 2.0 GB | 131k tokens ? | Q8_0 | Bequem |
|
164
tok/s
98–262 · niedrige Verlässlichkeit |
DeepSeek Coder 1.3B ≈ | 1.3B | Jan 2024 | 2.1 GB | 131k tokens ? | Q8_0 | Bequem |
|
164
tok/s
98–262 · niedrige Verlässlichkeit |
DeepSeek-VL-1.3B ≈ | 1.3B | Mar 2024 | 2.1 GB | 131k tokens ? | Q8_0 | Bequem |
|
164
tok/s
98–262 · niedrige Verlässlichkeit |
DigiRL ≈ | 1.3B | Jun 2024 | 2.1 GB | 131k tokens ? | Q8_0 | Bequem |
|
164
tok/s
98–262 · niedrige Verlässlichkeit |
GLA Transformer 1.3B ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k tokens ? | Q8_0 | Bequem |
|
164
tok/s
98–262 · niedrige Verlässlichkeit |
Janus 1.3B ≈ | 1.3B | Oct 2024 | 2.1 GB | 131k tokens ? | Q8_0 | Bequem |
|
164
tok/s
98–262 · niedrige Verlässlichkeit |
Kosmos-2.5 ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k tokens ? | Q8_0 | Bequem |
|
164
tok/s
98–262 · niedrige Verlässlichkeit |
Otter ≈ | 1.3B | May 2023 | 2.1 GB | 131k tokens ? | Q8_0 | Bequem |
|
164
tok/s
98–262 · niedrige Verlässlichkeit |
Phi-1 ≈ | 1.3B | Oct 2023 | 2.1 GB | 131k tokens ? | Q8_0 | Bequem |
Geschwindigkeiten sind Schätzwerte für eine einzelne Anfrage — eine Konversation nach der anderen — berechnet anhand der Speicherbandbreite, Modelgröße und Quantisierung. Die tatsächliche Durchsatzrate variiert je nach Inferenzlaufzeit und Version. Von Hardwareherstellern veröffentlichte Werte messen viele gleichzeitige Anfragen und sind deutlich höher.
Aufzeichnung
Radeon RX 9070 XT Vollständige Spezifikation
Alles, was in Bezug auf dieses Board vermerkt ist, nach der Bedeutung für das Ausführen eines Sprachmodells sortiert, anstatt nach der Auflistung in einem technischen Datenblatt. Der Speicher steht an erster Stelle, weil er das Ergebnis bestimmt; der Rest ist Kontext.
Speicher
Die beiden Spezifikationen, die entscheiden, was diese Karte ausführen kann und wie schnell. Die Kapazität legt fest, welche Modelle passen; die Bandbreite bestimmt, wie viele Tokens pro Sekunde sie produzieren, sobald sie das tun.
- Speichergröße
- 16 GB
- Speicherbandbreite
- 645 GB/s
- Speichertyp
- GDDR6
- Speicherbusbreite
- 256 bit
- Speicher-Takt
- 2.52 GHz
Der Chip
Welcher Prozessor ist auf der Platine und wie wurde er hergestellt. Eine kleinere Prozessgröße bedeutet in der Regel mehr Leistung bei gleichem Stromverbrauch.
- Grafikprozessor
- Navi 48
- Architektur
- RDNA 4.0
- Generation
- Navi IV(RX 9000)
- Foundry
- TSMC
- Prozessgröße
- 4 nm
- Transistoren
- 53.9 billion
- Transistordichte
- 151,000 K/mm²
- Die Größe
- 357 mm²
- Paket
- Monolithic
- Veröffentlicht
- 6 March 2025
Taktfrequenzen
Wie schnell der Prozessor läuft. Hier viel weniger wert als bei einem Gaming-Benchmark: Das Generieren von Text ist durch die Speicherbandbreite begrenzt, sodass eine höhere Taktrate das Ergebnis kaum beeinflusst.
- Basis-Takt
- 1.66 GHz
- Boost-Takt
- 2.97 GHz
Verarbeitungseinheiten
Was der Chip enthält. Diese treiben die Grafikleistung an und sind hauptsächlich für die Verarbeitung eines langen Prompts relevant, anstatt für die Erstellung der Antwort.
- Schattingeinheiten
- 4,096
- Textur-Mapper-Einheiten
- 256
- Geräte zur Renderausgabe
- 128
- Raytracing-Kerne
- 64
- L2-Cache
- 8 MB
Theoretische Leistung
Spitzenarithmetikraten, die für die Platine veröffentlicht wurden. Dies sind Grenzen, die keine echte Arbeitslast erreicht, und die Texterzeugung erreicht nur einen kleinen Bruchteil davon, da sie durch den Speicher und nicht durch die Arithmetik begrenzt ist.
- Halbpräzision (FP16)
- 97.3 TFLOPS
- Einzelne Genauigkeit (FP32)
- 48.7 TFLOPS
- Doppelter Genauigkeit (FP64)
- 1.5 TFLOPS
- Pixelrate
- 380 GPixel/s
- Texturrate
- 760 GTexel/s
Die Platine
Was es braucht, um die Karte physisch zu installieren und mit Strom zu versorgen - die praktischen Einschränkungen, die entscheiden, ob sie in die Maschine passt, die Sie bereits besitzen.
- Stromverbrauch (TDP)
- 304 W
- Vorgeschlagene Stromversorgung
- 700 W
- Stromanschlüsse
- 2x 8-pin
- Bus-Schnittstelle
- PCIe 5.0 x16
- Slotbreite
- Dual-slot
- Anzeigeausgaben
- 1x HDMI 2.1b, 3x DisplayPort 2.1a
Softwareunterstützung
Welche Grafiken und Recheninterfaces die Karte unterstützt. Die CUDA Rechenfähigkeit ist diejenige, die die Inferenz betrifft: unter 7.0 gibt es keine Tensor-Kerne, und moderne Inferenzsoftware greift auf langsamere Code-Pfade zurück.
- DirectX
- 12.2
- OpenGL
- 4.6
- Vulkan
- 1.4
- OpenCL
- 2.2
- Shader-Modell
- 6.8
Auflistungen
Wo kann ich eine kaufen Radeon RX 9070 XT
Derzeit führt kein Anbieter diese Karte auf. Angebote stammen von Anbietern, die sie hier direkt veröffentlichen — durchsuchen Sie das Anbieterverzeichnis um zu sehen, wer was verkauft.
Was die Zahlen bedeuten
Warum der Speicher die Zahl ist, die hier zählt
Speicher
16 GB
Bandbreite
645 GB/s
Größtes Modell
Nemotron 3-Nano-30B-A3B
16 GB GDDR6 bringt die Radeon RX 9070 XT bequem in kleine und mittelgroße Modelle, mit ungefähr 14,4 GB nutzbar, sobald der Treiber-Overhead herausgenommen wird. Die größten Modelle sind ohne deren Aufteilung unerreichbar.
Der Speicherbus bewegt sich mit 645 GB/s über einen 256-Bit-Bus. Das ist die Zahl, die die Geschwindigkeitsgenerierung steuert – die arithmetischen Operationen pro gelesenem Byte sind so gering, dass der Bus, nicht die Kerne, das ist, worauf alles wartet.
Die Bandbreite ist Takt mal Busbreite, und diese Karte taktet ihren Speicher bei 2,52 GHz. Beide Hälften sind wichtig, und keine ist in einem Gaming-Benchmark sichtbar.
In der Praxis erreicht diese Kombination die Nemotron 3-Nano-30B-A3B — 31,6B, komprimiert auf Q3_K_M, mit einer Ausgabe von etwa 101 Tokens pro Sekunde.
Der Chip und wie er gebaut wurde
Die Radeon RX 9070 XT basiert auf dem Navi 48 Grafikprozessor, der die RDNA 4.0 Architektur von AMD verwendet, als Teil der Navi IV(RX 9000) Generation.
Der Chip wird von TSMC auf einem 4-nm-Prozess hergestellt, mit einem Die von 357 mm², das 53,9 Milliarden Transistoren enthält. Ein kleinerer Prozess bedeutet in der Regel mehr Leistung bei gleicher Energie, obwohl es für Sprachmodelle weit weniger wichtig ist als das Speichersubsystem.
Es wurde im März 2025 veröffentlicht, also vor ungefähr 1 Jahr. Die Unterstützung für Inferenzsoftware folgt in der Regel der Hardware um ein oder zwei Jahre, daher hat eine Karte dieses Alters normalerweise ausgereifte, gut optimierte Codepfade, die ihr zur Verfügung stehen.
Berechnungsdurchsatz und warum er weniger wichtig ist, als er aussieht
FP16
97.3 TFLOPS
FP64
1.5 TFLOPS
Auf dem Papier erreicht die Radeon RX 9070 XT 97,3 TFLOPS bei halber Präzision und 48,7 TFLOPS bei einfacher Präzision. Dies sind Spitzenwerte, die keine reale Arbeitslast aufrechterhält, und das Generieren von Text erreicht nur einen kleinen Bruchteil davon — das Decodieren ist durch den Speicher und nicht durch die Arithmetik begrenzt, weshalb eine Karte hier enorm leistungsstark aussehen kann und trotzdem Token mit einer gewöhnlichen Rate erzeugt.
Der Durchsatz mit doppelter Genauigkeit beträgt 1,5 TFLOPS. Es hat keine Auswirkungen auf das Ausführen eines Sprachmodells - keine Inferenzlaufzeit verwendet es - aber es trennt die Teile des Rechenzentrums von den Verbraucherteilen, da letztere es absichtlich einschränken.
Uhren laufen von 1.66 GHz im Basistakt bis 2.97 GHz im Boost. Hier viel weniger wert als bei einem Gaming-Benchmark: Erhöhung der Taktraten verbessert die Arithmetik, und die Arithmetik ist nicht das, worauf die Generation wartet.
Cache und Verarbeitungseinheiten
unterstützt von 8 MB L2. Der Cache absorbiert einen Teil des Speicherverkehrs, der sonst den Hauptbus erreichen würde, was der einzige Ort auf dieser Seite ist, an dem eine Zahl, die nicht Bandbreite ist, leise die Generierungsgeschwindigkeit beeinflusst – ein großes L2 ermöglicht es, dass mehr von der Arbeitsmenge in der Nähe der Kerne bleibt.
Es gibt 4.096 Shader-Einheiten, 256 Textur-Mapping-Einheiten und 128 Rendering-Ausgabetreibe. Diese treiben Grafiklasten an und tragen zur Verarbeitung von Anforderungen bei, aber sie sind während der meisten Zeit, die ein Modell zum Generieren einer Antwort benötigt, untätig.
Leistung, Größe und Installation
Stromverbrauch
304 W
Die Radeon RX 9070 XT hat eine Leistung von 304 W, mit einem empfohlenen 700 W-Netzteil für das gesamte System. Das Ausführen eines Sprachmodells hält eine Karte in Phasen beschäftigt, anstatt kontinuierlich — sie zieht stark während der Generierung und ist zwischen den Anfragen im Leerlauf — daher liegt der nachhaltige Verbrauch über einen Arbeitstag normalerweise gut unter dem angegebenen Wert.
Die Karte benötigt zwei Slots und benötigt 2x 8-Pin. Es ist sinnvoll, dies mit dem Gehäuse und dem bereits in der Maschine befindlichen Netzteil zu überprüfen, da die größten Karten erheblich mehr von beidem benötigen, als ein typischer Desktop bereitstellt.
Es verbindet sich über PCIe 5.0 x16. Die Schnittstelle bestimmt, wie schnell ein Modell von der Festplatte in die Karte geladen wird, nicht wie schnell es danach läuft, sodass eine schmalere Verbindung beim Start einige Sekunden kostet und danach nichts.
Die Extreme
Die größten AI-Modelle, die auf einem Radeon RX 9070 XT
Die größten Open-Weight-Modelle, die auf diese Karte passen, neueste zuerst. Jedes wird mit der besten Kompression angezeigt, die die Karte halten kann..
Die schnellsten AI-Modelle auf einer Radeon RX 9070 XT
Wo diese Karte die Tokens am schnellsten produziert. Kleinere Modelle dominieren hier, da das Generieren jedes Tokens bedeutet, das gesamte Modell einmal aus dem Speicher zu lesen..
Schritt für Schritt
Wie berechnet man die Tokens pro Sekunde eines AI-Modells? Radeon RX 9070 XT
Sie müssen nichts per Hand berechnen — der gputps.com-Rechner auf dieser Seite hat es bereits für jedes Modell, das diese Karte tragen kann, ermittelt. Das Ablesen der Antwort erfordert sechs Schritte.
-
01
Suche nach dem Modell, das du möchtest
Alle 432 Modelle, die die Radeon RX 9070 XT verarbeitet, sind bereits aufgelistet. Das Suchfeld akzeptiert einen Namen oder eine Größe wie 27b, die mit der Parameteranzahl übereinstimmt.
-
02
Entscheide, wie lange deine Gespräche laufen.
Ziehen Sie den Regler auf die Gesprächslänge, mit der Sie arbeiten möchten. Der Cache wächst mit dem Gespräch, und bei 16 GB ist es oft das, was ein großes Modell über die Grenze drängt.
-
03
Vergleiche auf einer Qualitätsstufe festlegen
Jedes Modell wird in der besten Kompression angezeigt, die diese Karte halten kann. Eine Mindestqualität blendet diejenigen aus, die nur passen, indem sie weiter zusammengedrückt werden, als Sie akzeptieren würden.
-
04
Lese die Geschwindigkeit und die Reichweite
Die Werte sind berechnet, nicht gemessen. 213 tok/s auf Gemma 3 QAT 1B sind das schnellste Ergebnis auf dieser Karte, und wie jede Zeile trägt sie eine Bandbreite, die widerspiegelt, wie wichtig die Laufzeit ist.
-
05
Überprüfen Sie die Spalte für den Speicher, bevor Sie zusagen
Die Passform-Spalte trennt Modelle, die gerade passen, von denen mit Spielraum — es lohnt sich, dies gegen die 16 GB der Karte zu überprüfen, bevor man sich für eine entscheidet.
-
06
Überprüfung mit anderer Hardware
Das Folgen eines Modells bis zu seiner eigenen Seite listet die gesamte Hardware auf, die es ausführen kann, sodass Sie sehen können, wo die Radeon RX 9070 XT im Vergleich zu den Alternativen steht.
Antworten
Radeon RX 9070 XT — Häufig gestellte Fragen
Kann eine Radeon RX 9070 XT ein 30B Modell ausführen?
Ja. Zum Beispiel läuft eine Radeon RX 9070 XT ERNIE-4.5-VL-28B-A3B bei Q3_K_M, verwendet etwa 12,9 GB Speicher und generiert etwa 114 Tokens pro Sekunde.
Wie viel Speicher hat eine Radeon RX 9070 XT?
Eine Radeon RX 9070 XT hat 16 GB GDDR6-Speicher. Etwa ein Zehntel davon wird vom Inferenzlaufzeit und dem Treiber reserviert, was ungefähr 14,4 GB für ein Modell und seine Unterhaltung lässt.
Was ist die Speicherbandbreite einer Radeon RX 9070 XT?
Die Radeon RX 9070 XT hat 645 GB/s Speicherbandbreite über einen 256-Bit-Speicherbus. Dies ist der einzig beste Prädiktor dafür, wie schnell sie Text generiert, da die Produktion jedes Tokens bedeutet, das gesamte Modell einmal aus dem Speicher zu lesen.
Welche Art von Speicher verwendet eine Radeon RX 9070 XT?
Es verwendet GDDR6, das mit 2,52 GHz getaktet ist. HBM-Typen sind auf Datacenter-Beschleunigern zu finden und bieten deutlich mehr Bandbreite als das GDDR, das auf Desktop-Karten verwendet wird, weshalb sie bei gleicher Kapazität erheblich schneller Tokens generieren.
Wer stellt die Radeon RX 9070 XT her?
Die Radeon RX 9070 XT ist ein Produkt von AMD, mit dem Chip, der von TSMC auf einem 4 nm Prozess hergestellt wird.
Wann wurde die Radeon RX 9070 XT veröffentlicht?
Die Radeon RX 9070 XT wurde im März 2025 veröffentlicht.
Wie viel Leistung verbraucht eine Radeon RX 9070 XT?
Die Radeon RX 9070 XT hat eine nennwertige Board-Leistung von 304 W, und ein 700 W Netzteil wird vorgeschlagen. Textgenerierung zieht in Intensivphasen stark und ruht zwischen den Anfragen, daher liegt der durchschnittliche Verbrauch über eine Arbeitssitzung normalerweise sehr unter dem nennwertigen Wert.
Wie viel Cache hat eine Radeon RX 9070 XT?
und 8 MB L2-Cache. Der Cache absorbiert einen Teil des Speicherdatenverkehrs, der sonst den Hauptbus erreichen würde, sodass ein größerer L2 eine bescheidene Steigerung der Generierungsgeschwindigkeit über das hinaus bietet, was die Bandbreite allein vorhersagt.
Was sind die TFLOPS einer Radeon RX 9070 XT?
Die Radeon RX 9070 XT ist mit 97,3 TFLOPS bei halber Präzision und 48,7 TFLOPS bei einfacher Präzision bewertet. Dies sind Spitzenarithmetik-Obergrenzen und keine erreichbaren Raten, und die Textgenerierung erreicht nur einen kleinen Bruchteil davon, da sie stattdessen durch die Speicherbandbreite begrenzt ist.
Unterstützt die Radeon RX 9070 XT CUDA?
Nein. CUDA ist nur für NVIDIA, und die Radeon RX 9070 XT ist eine AMD-Karte. Sie führt Sprachmodelle über ROCm, Vulkan oder Metal aus, je nach der Software, die weniger ausgereift ist als der CUDA-Pfad – unsere Schätzungen berücksichtigen eine Strafe dafür.
Welches Bus-Interface verwendet die Radeon RX 9070 XT?
Es verwendet PCIe 5.0 x16. Dies regelt, wie schnell ein Modell auf die Karte geladen wird, anstatt wie schnell es nach dem Laden läuft, sodass es ein paar Sekunden beim Start kostet und während der Generierung nichts.
Ist die Radeon RX 9070 XT gut für das Ausführen lokaler AI-Modelle?
Sein Speicher deckt kleine und mittelgroße Modelle ab, obwohl die größten außer Reichweite sind und seine Bandbreite nutzbare, wenn auch unspektakuläre, Generierungsgeschwindigkeiten bietet. Insgesamt laufen 432 der Modelle, die wir verfolgen. Ob das ausreichend ist, hängt ganz davon ab, welches Modell Sie möchten – die obige Tabelle beantwortet das direkt.
Kann eine Radeon RX 9070 XT ein Modell ausführen, das nicht in ihren Speicher passt?
Es kann aufgeteilt werden, wobei der Überlauf im Systemspeicher gehalten wird — aber dieser Teil zieht das Ganze nach unten, und keine der 16 GB-Zahlen auf dieser Seite geht davon aus.
Wären zwei Radeon RX 9070 XT Karten doppelt so schnell?
Nein. Eine zweite Radeon RX 9070 XT verdoppelt den Speicher auf 32 GB, was es ermöglicht, Modelle zu halten, die keiner allein halten konnte, aber die Generation teilt sich nicht auf diese Weise. Diese Zahlen beschreiben eine Karte.
Welche KI-Modelle kann eine Radeon RX 9070 XT ausführen?
432 der 679 offenen Sprachmodelle, die wir verfolgen, passen auf eine Radeon RX 9070 XT und können lokal darauf ausgeführt werden. Die Tabelle auf dieser Seite listet jedes einzelne auf, mit dem benötigten Speicher, der Quantisierung, bei der es läuft, und einer geschätzten Generierungsgeschwindigkeit.
Welches ist das größte AI-Modell, das eine Radeon RX 9070 XT ausführen kann?
Das größte Modell in unserem Katalog, das auf eine Radeon RX 9070 XT passt, ist Nemotron 3-Nano-30B-A3B mit 31,6B Parametern, komprimiert auf Q3_K_M. Es generiert etwa 101 Tokens pro Sekunde und benötigt etwa 14,4 GB des Speicherplatzes der Karte.
Wie viele Tokens pro Sekunde produziert eine Radeon RX 9070 XT?
Es hängt vom Modell ab. Auf einer Radeon RX 9070 XT ist das schnellste Modell, das wir verfolgen, Gemma 3 QAT 1B mit etwa 213 Tokens pro Sekunde, während größere Modelle proportional langsamer laufen, da jedes Token erfordert, dass das gesamte Modell einmal aus dem Speicher gelesen wird. Die Geschwindigkeiten sind Schätzungen für ein einzelnes Gespräch zur gleichen Zeit.
Kann eine Radeon RX 9070 XT ein 7B Modell ausführen?
Ja. Zum Beispiel läuft eine Radeon RX 9070 XT Multi-Token Vorhersage 7B bei Q8_0, verwendet etwa 7,9 GB Speicher und erzeugt etwa 31,8 Tokens pro Sekunde.
Kann eine Radeon RX 9070 XT ein 13B Modell ausführen?
Ja. Zum Beispiel läuft eine Radeon RX 9070 XT DeepSeekMoE-16B bei Q6_K, verwendet etwa 13,7 GB Speicher und generiert rund 107 Token pro Sekunde.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt mit der Hardware. Wenn Sie bereits wissen, welches Modell Sie möchten und erfahren möchten, was erforderlich ist, um es auszuführen, Beginnen Sie stattdessen mit dem Modell.