Berechne die TPS des Ryzen Z1 Extreme GPU auf lokalen KI-Modellen

AMD 16 GB LPDDR5 51 GB/s June 2023

Jedes Modell in unserem Katalog wurde anhand dieser Karte für das Kontextlängen und die Mindestqualität, die Sie wählen, bewertet. Die Geschwindigkeit ist eine Schätzung für eine einzelne Anfrage, berechnet aus der Speicherbandbreite dieser Karte und der Größe jedes Modells nach der Kompression..

Berechnet für diese Karte

432 Modelle, die es ausführen kann

679 Modelle in unserem Katalog insgesamt

Das größte Modell, das es hält

Nemotron 3-Nano-30B-A3B

31.6B · Q3_K_M · 8.0 tok/s

Schnellstes Modell

Gemma 3 QAT 1B

16.9 tok/s · 1B

Welche KI-Modelle können auf einem Ryzen Z1 Extreme GPU?

Setze die Eingaben, lies die Antwort

Mehr Kontext bedeutet mehr Speicher für den Gesprächs-Cache. Die Geschwindigkeit ist für ein frisches Gespräch und ändert sich nicht mit dieser Einstellung..

Blendet Modelle aus, die nur passen würden, wenn sie unter diesen Punkt komprimiert werden..

432 Modelle passen

Berechnung
Quantisierung Passend
16.9 tok/s

10–27 · niedrige Vertrauenswürdigkeit

Gemma 3 1B 1B Mar 2025 1.8 GB 33k Token Q8_0 Komfortabel
16.9 tok/s

10–27 · niedrige Vertrauenswürdigkeit

Gemma 3 QAT 1B 1B Apr 2025 1.8 GB 33k Token Q8_0 Komfortabel
16.9 tok/s

10–27 · niedrige Vertrauenswürdigkeit

HGRN 1B (WT 103) 1B Nov 2023 1.8 GB 131k Token ? Q8_0 Komfortabel
16.9 tok/s

10–27 · niedrige Vertrauenswürdigkeit

LLama 3..2 Typhoon 2 1B 1B Dec 2024 1.8 GB 131k Token ? Q8_0 Komfortabel
16.9 tok/s

10–27 · niedrige Vertrauenswürdigkeit

OLMo-1B 1B Feb 2024 1.8 GB 131k Token ? Q8_0 Komfortabel
16.9 tok/s

10–27 · niedrige Vertrauenswürdigkeit

Pythia-1b 1B Apr 2023 1.8 GB 131k Token ? Q8_0 Komfortabel
15.7 tok/s

9–25 · niedrige Vertrauenswürdigkeit

OpenELM-1.1B 1.1B May 2024 1.9 GB 131k Token ? Q8_0 Komfortabel
15.4 tok/s

9–25 · niedrige Vertrauenswürdigkeit

DeciCoder-1B 1.1B Aug 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
15.4 tok/s

9–25 · niedrige Vertrauenswürdigkeit

SantaCoder 1.1B Jan 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
15.4 tok/s

9–25 · niedrige Vertrauenswürdigkeit

TinyLlama-1.1B (1T token checkpoint) 1.1B Oct 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
15.4 tok/s

9–25 · niedrige Vertrauenswürdigkeit

TinyLlama-1.1B (3T token checkpoint) 1.1B Oct 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
14.1 tok/s

8–23 · niedrige Vertrauenswürdigkeit

EXAONE 4.0 (1.2B) 1.2B Jul 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
14.1 tok/s

8–23 · niedrige Vertrauenswürdigkeit

MinerU2.5 1.2B Sep 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
14.1 tok/s

8–23 · niedrige Vertrauenswürdigkeit

Pleias 1.0 1.2B 1.2B Dec 2024 2.0 GB 131k Token ? Q8_0 Komfortabel
14.1 tok/s

8–23 · niedrige Vertrauenswürdigkeit

Pleias-RAG-1B 1.2B Apr 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
13.8 tok/s

8–22 · niedrige Vertrauenswürdigkeit

Llama 3.2 1B 1.2B Sep 2024 2.2 GB 131k Token Q8_0 Komfortabel
13.6 tok/s

8–22 · niedrige Vertrauenswürdigkeit

MiniCPM-1.2B 1.2B Jun 2024 2.0 GB 131k Token ? Q8_0 Komfortabel
13.0 tok/s

8–21 · niedrige Vertrauenswürdigkeit

DeepSeek Coder 1.3B 1.3B Jan 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
13.0 tok/s

8–21 · niedrige Vertrauenswürdigkeit

DeepSeek-VL-1.3B 1.3B Mar 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
13.0 tok/s

8–21 · niedrige Vertrauenswürdigkeit

DigiRL 1.3B Jun 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
13.0 tok/s

8–21 · niedrige Vertrauenswürdigkeit

GLA Transformer 1.3B 1.3B Aug 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
13.0 tok/s

8–21 · niedrige Vertrauenswürdigkeit

Janus 1.3B 1.3B Oct 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
13.0 tok/s

8–21 · niedrige Vertrauenswürdigkeit

Kosmos-2.5 1.3B Aug 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
13.0 tok/s

8–21 · niedrige Vertrauenswürdigkeit

Otter 1.3B May 2023 2.1 GB 131k Token ? Q8_0 Komfortabel
13.0 tok/s

8–21 · niedrige Vertrauenswürdigkeit

Phi-1 1.3B Oct 2023 2.1 GB 131k Token ? Q8_0 Komfortabel

Die Geschwindigkeiten sind Schätzungen für eine einzelne Anfrage — ein Gespräch zur Zeit — berechnet aus BANDWIDTH, MODELLGRÖSSE und QUANTISIERUNG. Der tatsächliche Durchsatz variiert mit der INFERENZLAUFZEIT und ihrer Version. Zahlen, die von Hardwareanbietern veröffentlicht wurden, messen viele gleichzeitige Anfragen und sind viel höher..

Aufgezeichnet

Ryzen Z1 Extreme GPU Volle Spezifikation

Alles auf Datei für dieses Board, geordnet danach, wie sehr es das Ausführen eines Sprachmodells beeinflusst, anstatt wie es in einem Datenblatt aufgeführt wäre. MEMORY kommt zuerst, weil es das Ergebnis bestimmt; der Rest ist CONTEXT..

Speicher

Die beiden Spezifikationen, die entscheiden, was diese CARD ausführen kann und wie schnell. Die Kapazität legt fest, welche Modelle passen; die Bandbreite bestimmt, wie viele Tokens pro Sekunde sie produzieren, sobald sie passen.

Speicherkapazität
16 GB
Speicherbandbreite
51 GB/s
Speichertype
LPDDR5
Speicherdatenbreite
64 bit
Speichertakt
800 MHz

Der Chip

Welcher Prozessor sich auf der Platine befindet und wie er hergestellt wurde. Eine kleinere Prozessgröße bedeutet allgemein mehr Leistung bei gleicher Energie.

Grafikprozessor
Phoenix
Architektur
RDNA 3.0
Generierung
Console GPU(AMD)
Gießerei
TSMC
Prozessgröße
4 nm
Transistoren
25.4 billion
Transistordichte
142,600 K/mm²
Die Größe
178 mm²
Paket
FP8
Veröffentlicht
13 June 2023

Taktfrequenzen

Wie schnell der Prozessor läuft. Hier weit weniger wert als bei einem Gaming-Benchmark: Die Textgenerierung ist durch die Speicherbandbreite begrenzt, sodass eine höhere Taktfrequenz das Ergebnis kaum verbessert.

Basis-Takt
800 MHz
Boost-Takt
2.7 GHz

Verarbeitungseinheiten

Was der Chip enthält. Diese treiben die Grafikleistung und sind hauptsächlich für die Verarbeitung eines langen Prompts wichtig, statt für die Produktion der Antwort.

Shader-Einheiten
768
Texturzuordnungseinheiten
48
Render-Ausgabeeinheiten
32
Strahlverfolgungskerne
12
L1-Cache
128 KB
L2-Cache
8 MB

Theoretische Leistung

Die veröffentlichten Spitzenarithmetikraten für die Karte. Dies sind Obergrenzen, die keine echte Arbeitslast erreicht, und das Generieren von Text erreicht nur einen kleinen Bruchteil davon, da es durch den Speicher und nicht durch die Arithmetik limitiert ist.

Halbpräzision (FP16)
16.6 TFLOPS
Einfache Genauigkeit (FP32)
8.3 TFLOPS
Doppelte Genauigkeit (FP64)
518.4 GFLOPS
Pixelrate
86 GPixel/s
Texturrate
130 GTexel/s

Die Platine

Was erforderlich ist, um die KArte physisch zu installieren und mit Strom zu versorgen — die praktischen Einschränkungen, die entscheiden, ob sie in die Maschine passt, die Sie bereits besitzen.

Leistungsaufnahme (TDP)
30 W
Stromanschlüsse
None
Dimensionen
280 mm × 21 mm
Anzeigeausgaben
1x USB Type-C

Software-Unterstützung

Welche Grafik- und Rechen-Schnittstellen die Karte unterstützt. CUDA-Rechenfähigkeit betrifft die Inferenz: unter 7.0 gibt es keine Tensor-Kerne, und moderne Inferenz-Software greift auf langsamere Code-Pfade zurück.

DirectX
12.2
OpenGL
4.6
Vulkan
1.4
OpenCL
2.1
Shader-Modell
6.8

Auflistungen

Wo man ein Ryzen Z1 Extreme GPU

Derzeit listet kein Anbieter diese Karte. Die Angebote stammen von Anbietern, die sie hier direkt veröffentlichen. — Durchsuche das Anbieter-Verzeichnis zu sehen, wer was verkauft.

Was die Zahlen bedeuten

Warum ist der Speicher die Zahl, die hier zählt

Speicher

16 GB

Bandbreite

51 GB/s

Größtes Modell

Nemotron 3-Nano-30B-A3B

Ryzen Z1 Extreme GPU trägt 16 GB von LPDDR5. Das erreicht komfortabel kleine und mittelgroße Modelle, obwohl die größten außerhalb der Reichweite bleiben, ohne sie zu splitten. Der Treiber-Overhead lässt ungefähr 14.4 GB.

Der Speicherbandbreite erreicht 51 GB/s über einen Bus von 64 Bits. Die Bandbreite ist die echte Einschränkung dieser Karte. Jedes Token erfordert das gesamte Modell aus dem Speicher zu lesen, daher wird sich ein großes Modell hier sogar langsam anfühlen, selbst wenn es passt.

Das kommt von einem MEMORY CLOCK von 800 MHz. Es ist der Grund, warum Kernanzahlen die Generationsgeschwindigkeit so schlecht vorhersagen.

Die praktische Obergrenze ist Nemotron 3-Nano-30B-A3B, 31.6B, komprimiert auf Q3_K_M und generieren etwa 8.0 Token pro Sekunde

Der Chip und wie er gebaut wurde

Ryzen Z1 Extreme GPU ist auf dem Grafikprozessor aufgebaut Phoenix, die Architektur verwenden RDNA 3.0 von AMD, als Teil der Generierung Console GPU(AMD).

Der Chip wird hergestellt von TSMC, einem Prozess von 4 nm, mit einem Maß von 178 mm², halten 25.4 billion Transistoren. Ein kleinerer Prozess bedeutet im Allgemeinen mehr Leistung für die gleiche Energie, obwohl es bei Sprachmodellen weit weniger von Bedeutung ist als das MEMORY-SUBSYSTEM.

Es wurde veröffentlicht in June 2023, grob 3.1339381549728 vor Jahren. Die Unterstützung von Inference-Software folgt in der Regel ein oder zwei Jahre hinter der Hardware, sodass eine Karte dieses Alters normalerweise über ausgereifte, gut optimierte Codepfade verfügt.

Rechen-Durchsatz, und warum er weniger wichtig ist, als er aussieht

FP16

16.6 TFLOPS

FP64

518.4 GFLOPS

Auf Papier Ryzen Z1 Extreme GPU erreicht 16.6 TFLOPS bei halber Genauigkeit, und 8.3 TFLOPS bei einfacher Genauigkeit. Dies sind Spitzenwerte, keine echten Workloads, die diese erreichen, und die Generierung von Text erreicht nur einen kleinen Bruchteil davon – das Decodieren ist durch die MEMORY und nicht durch die Arithmetik begrenzt, weshalb eine CARD hier enorm leistungsfähig erscheinen kann und trotzdem Tokens in einem gewöhnlichen Tempo produziert.

Der Durchsatz für doppelpräzises Rechnen erreicht 518.4 GFLOPS. Es hat keinen Einfluss auf das Ausführen eines Sprachmodells — keine Inferenzlaufzeit verwendet es — aber es trennt die Teile des Rechenzentrums von den Verbraucherteilen, da letztere es absichtlich einschränken.

Die Taktraten laufen von einer Basis von 800 MHz zu einem Schub von 2.7 GHz. Hier weit weniger wert als bei einem Gaming-Benchmark: das Anheben der Taktgeschwindigkeiten steigert die Arithmetik, und die Arithmetik ist nicht das, worauf die Generation wartet.

Cache und Verarbeitungseinheiten

Ryzen Z1 Extreme GPU hat einen L1-Cache von 128 KB, unterstützt von einem L2-Cache von 8 MB. Cache absorbiert einen Teil des MEMORY-Traffics, der ansonsten den MAIN BUS treffen würde, was der einzige Ort auf dieser Seite ist, an dem eine Zahl außer BANDWIDTH leise die GENERATIONSGESCHWINDIGKEIT beeinflusst — ein großes L2 lässt mehr des WORKING SETS nah an den CORES bleiben.

Es gibt 768 Shader-Einheiten, 48 Texturzuordnungseinheiten, und 32 Render-Ausgabeeinheiten. Diese treiben Grafikarbeitslasten und tragen zur Verarbeitung von Eingabeaufforderungen bei, aber sie sitzen den größten Teil der Zeit, die ein Modell benötigt, um eine Antwort zu generieren, untätig.

Leistung, Größe und Installation

Stromverbrauch

30 W

Ryzen Z1 Extreme GPU ist bewertet mit 30 W. Das Ausführen eines Sprachmodells hält eine GPU-Karte in Intervallen beschäftigt, anstatt kontinuierlich — sie zieht stark während der Generierung und wartet zwischen den Anfragen — daher liegt der nachhaltige Verbrauch über einen Arbeitstag normalerweise deutlich unter dem angegebenen Wert.

messen 280 mm lang. Es lohnt sich, bereits das Gehäuse und das Netzteil in der Maschine zu überprüfen, da die größten KARTEN erheblich mehr von beidem benötigen, als ein typischer Desktop bereitstellt.

Die Extreme

Die größten AI-Modelle, die auf einem Ryzen Z1 Extreme GPU

Die größten OPEN WEIGHT Modelle, die auf dieser CARD passen, neueste zuerst. Jedes wird mit der besten Kompression angezeigt, die die CARD halten kann..

  1. 01 North Mini Code 30B · Q3_K_M · Jun 2026 8.5 tok/s
  2. 02 Qwen 3.6-27B 27B · Q3_K_M · Apr 2026 1.7 tok/s
  3. 03 Qwen3.5-27B 27B · Q3_K_M · Feb 2026 1.7 tok/s
  4. 04 Nemotron 3-Nano-30B-A3B 31.6B · Q3_K_M · Dec 2025 8.0 tok/s
  5. 05 Nomos 1 30B · Q3_K_M · Dec 2025 8.5 tok/s
  6. 06 C2S-Scale 27B · Q3_K_M · Oct 2025 1.7 tok/s
  7. 07 Gemma-SEA-LION-v4-27B-IT 27B · Q3_K_M · Aug 2025 1.7 tok/s
  8. 08 ERNIE-4.5-VL-28B-A3B 28B · Q3_K_M · Jun 2025 9.1 tok/s
  9. 09 Qwen3-30B-A3B 30B · Q3_K_M · Apr 2025 8.5 tok/s
  10. 10 Gemma 3 QAT 27B 27B · Q3_K_M · Apr 2025 1.7 tok/s

Die schnellsten AI-Modelle auf einer Ryzen Z1 Extreme GPU

Wo diese Karte die Token am schnellsten produziert. Kleinere Modelle dominieren hier, weil das Generieren jedes Tokens bedeutet, das gesamte Modell einmal aus dem VRAM zu lesen..

  1. 01 Gemma 3 QAT 1B 1B · Q8_0 · 1.8 GB 16.9 tok/s
  2. 02 Gemma 3 1B 1B · Q8_0 · 1.8 GB 16.9 tok/s
  3. 03 LLama 3..2 Typhoon 2 1B 1B · Q8_0 · 1.8 GB 16.9 tok/s
  4. 04 OLMo-1B 1B · Q8_0 · 1.8 GB 16.9 tok/s
  5. 05 HGRN 1B (WT 103) 1B · Q8_0 · 1.8 GB 16.9 tok/s
  6. 06 Pythia-1b 1B · Q8_0 · 1.8 GB 16.9 tok/s
  7. 07 OpenELM-1.1B 1.1B · Q8_0 · 1.9 GB 15.7 tok/s
  8. 08 TinyLlama-1.1B (1T token checkpoint) 1.1B · Q8_0 · 1.9 GB 15.4 tok/s
  9. 09 TinyLlama-1.1B (3T token checkpoint) 1.1B · Q8_0 · 1.9 GB 15.4 tok/s
  10. 10 DeciCoder-1B 1.1B · Q8_0 · 1.9 GB 15.4 tok/s

Schritt für Schritt

Wie man die Tokens pro Sekunde eines Ryzen Z1 Extreme GPU

Du musst nichts von Hand berechnen — der gputps.com Rechner auf dieser Seite hat es bereits für jedes Modell, das diese Karte halten kann, herausgefunden. Das Ablesen der Antwort erfordert sechs Schritte..

  1. 01

    Suche nach dem Modell, das du möchtest

    Die Tabelle listet 432 Modelle, die diese Karte ausführt. Die Suche verfeinert die Liste nach Namen oder nach Größe.

  2. 02

    Setzen Sie die Kontextlänge, die Sie tatsächlich verwenden werden.

    Ziehe den Regler auf die Gesprächslänge, mit der du arbeiten möchtest. Der Cache wächst mit dem Gespräch und gegen eine Karte, die hält 16 GB Es ist oft das, was ein großes Modell über die Kante drängt.

  3. 03

    Wählen Sie, wie weit Sie komprimieren möchten.

    Kompression ist das, was größere Modelle passend macht. Die Qualitätskontrolle verwirft jedes Modell, das mehr davon benötigt, als Sie bereit sind zu geben.

  4. 04

    Schau dir das Spektrum an, nicht nur die Zahl.

    Jede Geschwindigkeit ist eine Schätzung für ein einzelnes Gespräch, mit einem Bereich darunter. Das obere Ende hier ist 16.9 tok/s auf Gemma 3 QAT 1B. Die gleiche Karte und das Modell variieren zwischen dreißig und fünfzig Prozent bei den Inferenzlaufzeiten.

  5. 05

    Überprüfen Sie die VRAM-Spalte, bevor Sie committen.

    Tight bedeutet, dass es heute funktioniert; comfortable bedeutet, dass es weiterhin funktioniert, wenn das Gespräch wächst. Vergleiche, was jedes Modell benötigt, mit dem, was verfügbar ist. 16 GB.

  6. 06

    Öffne das Modell, um Karten zu vergleichen

    Ein Modell bis zu seiner eigenen Seite zu verfolgen, listet alle Hardware auf, die es ausführen kann, sodass Sie sehen können, wie es im Vergleich zu Ryzen Z1 Extreme GPU.

Antworten

Ryzen Z1 Extreme GPU — Häufige Fragen

01

Ryzen Z1 Extreme GPU— Was ist das größte AI-MODEL, das es ausführen kann?

Das größte Modell in unserem Katalog, das passt, ist Nemotron 3-Nano-30B-A3B bei 31.6B Parameter, komprimiert auf Q3_K_M. Es generiert ungefähr 8.0 Tokens pro Sekunde und benötigt etwa 14.4 GB des Speichers der Karte.

02

Ryzen Z1 Extreme GPU— Wie viele Tokens pro Sekunde produziert es?

Es hängt vom Modell ab. Das schnellste Modell, das wir hier verfolgen, ist Gemma 3 QAT 1B ungefähr 16.9 Tokens pro Sekunde, während größere Modelle verhältnismäßig langsamer laufen, da jedes Token das vollständige Modell einmal aus dem Speicher lesen muss. Geschwindigkeiten sind Schätzungen für ein einzelnes Gespräch gleichzeitig.

03

Ryzen Z1 Extreme GPU— Kann es laufen 7B Modelle?

Ja. Es läuft. Multi-Token Prediction 7B bei Q8_0, verwenden von etwa 7.9 GB VRAM und generieren etwa 2.5 Token pro Sekunde

04

Ryzen Z1 Extreme GPU— Kann es laufen 13B Modelle?

Ja. Es läuft. DeepSeekMoE-16B bei Q6_K, verwenden von etwa 13.7 GB VRAM und generieren etwa 8.5 Token pro Sekunde

05

Ryzen Z1 Extreme GPU— Kann es laufen 30B Modelle?

Ja. Es läuft. ERNIE-4.5-VL-28B-A3B bei Q3_K_M, verwenden von etwa 12.9 GB VRAM und generieren etwa 9.1 Token pro Sekunde

06

Ryzen Z1 Extreme GPU— wie viel VRAM hat es?

Diese Karte hat 16 GB von LPDDR5. Rund ein Zehntel wird von der Inferenzlaufzeit und dem Treiber reserviert, was ungefähr 14.4 GB verfügbar für ein Modell und dessen Konversation.

07

Ryzen Z1 Extreme GPU— Was ist seine Speicherbandbreite?

Der Speicherbandbreite erreicht 51 GB/s über einen Bus von 64 Bits. Dies ist der einzige beste Prädiktor dafür, wie schnell es Text generiert, da das Erzeugen jedes Tokens bedeutet, das gesamte Modell einmal aus dem Speicher zu lesen.

08

Ryzen Z1 Extreme GPU— Welche Art von MEMORY verwendet es?

Es verwendet LPDDR5 getaktet bei 800 MHz. HBM-Typen sind auf Rechenzentrum-Beschleunigern zu finden und verfügen über weitaus mehr Bandbreite als das GDDR, das auf Desktop-Karten verwendet wird, weshalb sie bei gleicher Kapazität erheblich schneller Tokens erzeugen.

09

Ryzen Z1 Extreme GPU— Wer macht es?

Dies ist ein Produkt von AMD, mit dem von ... hergestellten Chip TSMC, einem Prozess von 4 nm.

10

Ryzen Z1 Extreme GPU— Wann wurde es veröffentlicht?

Es wurde veröffentlicht in June 2023.

11

Ryzen Z1 Extreme GPU— Wie viel Leistung verbraucht es?

Bewertete Boardleistung ist 30 W. Die Textgenerierung erfordert während der Spitzenzeiten viel Leistung und idle zwischen den Anfragen, sodass der durchschnittliche Verbrauch während einer Arbeitssitzung normalerweise weit unter der angegebenen Zahl liegt.

12

Ryzen Z1 Extreme GPU— Wie viel Cache hat es?

Der L1-Cache ist 128 KB, und der L2-Cache ist 8 MB. Der Cache absorbiert einen Teil des Speicherverkehrs, der sonst den Hauptbus erreichen würde, sodass ein größeres L2 eine bescheidene Steigerung der Generierungsgeschwindigkeit über das hinaus bietet, was die Bandbreite allein vorhersagt.

13

Ryzen Z1 Extreme GPU— Was sind seine TFLOPS?

Es ist bewertet mit 16.6 TFLOPS bei halber Genauigkeit und 8.3 TFLOPS bei einfacher Präzision. Dies sind Spitzenarithmetik-Obergrenzen anstelle von erreichbaren Raten, und die Textgenerierung erreicht nur einen kleinen Bruchteil davon, da sie stattdessen durch die Speicherm_bandbreite begrenzt ist.

14

Ryzen Z1 Extreme GPU— Unterstützt es CUDA?

Nein. CUDA ist nur für NVIDIA, und dies ist eine Karte von AMD. Es laufen Sprachmodelle über ROCm, Vulkan oder Metal, je nach Software, die weniger ausgereift sind als der CUDA-Pfad — unsere Schätzungen wenden eine Strafe dafür an.

15

Ryzen Z1 Extreme GPU— Ist es gut, um lokale AI-Modelle auszuführen?

seine Speicher deckt kleine und mittelgroße Modelle ab, obwohl die größten unerreichbar sind, da seine Bandbreite bedeutet, dass die Generation bei größeren Modellen langsam erscheinen wird. Insgesamt läuft es 432 der Modelle, die wir verfolgen. Ob das genug ist, hängt ganz davon ab, welches Modell Sie möchten – die obige Tabelle beantwortet das direkt.

16

Ryzen Z1 Extreme GPU— kann es ein Modell ausführen, das nicht in seinen VRAM passt?

Nur teilweise. Schichten über die GPU-Karte. 16 GB ist möglich und normalerweise eine falsche Sparmaßnahme: der System-Speicheranteil ist ausreichend langsam, um das Ergebnis zu dominieren.

17

Würden zwei Ryzen Z1 Extreme GPU Karten doppelt so schnell sein?

Nein. Eine zweite Karte verdoppelt den VRAM auf 32 GB von kombinierter VRAM, bei etwa der gleichen Generation Geschwindigkeit wie eine.

18

Ryzen Z1 Extreme GPU— Welche AI-Modelle kann es ausführen?

432 des 679 Open-Source-Sprachmodelle, die wir verfolgen, passen auf diese Karte und können lokal ausgeführt werden. Die Tabelle auf dieser Seite listet jedes einzelne auf, mit dem benötigten MEMORY, der QUANTISIERUNG, auf der es läuft, und einer geschätzten Generierungsgeschwindigkeit.

Die andere Richtung

Von der anderen Seite aus betrachten?

Diese Seite beginnt mit der Hardware. Wenn Sie bereits wissen, welches Modell Sie möchten und wissen müssen, was benötigt wird, um es auszuführen., Beginnen Sie mit dem Modell anstelle..

Alle GPUs