Számítsa ki a TPS-t a Zhongshan Subor Z+ GPU helyi AI modellek

AMD 8 GB GDDR5 154 GB/s August 2018

Minden modell a katalógusunkban, amelyet ezzel a kártyával értékeltünk a kiválasztott kontextus hosszán és minimális minőségen. A sebesség egyetlen kérés becslése, amelyet ezen kártya memória sávszélessége és minden modell mérete alapján számoltak ki, miután tömörítették..

Kiszámítva ehhez a kártyához

337 modellek, amelyeket futtathat

679 modellek az adatbázisunkban összesen

A legnagyobb modell, amit tartalmaz.

Baichuan 1-13B

13.3B · Q3_K_M · 10.3 tok/s

Leggyorsabb modell

Gemma 3 QAT 1B

50.7 tok/s · 1B

Mely AI modellek futhatnak egy Zhongshan Subor Z+ GPU?

Állítsa be a bemeneteket, olvassa el a választ

Kontekthossz tokenek

Több kontextus több MEMÓRIÁT jelent a beszélgetés gyorsítótárához. A sebesség egy friss beszélgetéshez való, és nem változik ezzel a beállítással..

Minimum minőség

Elrejti azokat a modelleket, amelyek csak ezen a ponton alá tömörítve férnének el..

Modellek keresése

Modell méret

Kiadott

Ismertesse a modelleket, amelyeket nem tud futtatni.

337 modellek megfelelnek

Számítás

						Kvantisálás	Illeszkedik
50.7 tok/s 30–81 · alacsony bizalom	Gemma 3 1B	1B	Mar 2025	1.8 GB	33k tokenek	Q8_0	Kényelmes
50.7 tok/s 30–81 · alacsony bizalom	Gemma 3 QAT 1B	1B	Apr 2025	1.8 GB	33k tokenek	Q8_0	Kényelmes
50.7 tok/s 30–81 · alacsony bizalom	HGRN 1B (WT 103) ≈	1B	Nov 2023	1.8 GB	131k tokenek ?	Q8_0	Kényelmes
50.7 tok/s 30–81 · alacsony bizalom	LLama 3..2 Typhoon 2 1B ≈	1B	Dec 2024	1.8 GB	131k tokenek ?	Q8_0	Kényelmes
50.7 tok/s 30–81 · alacsony bizalom	OLMo-1B ≈	1B	Feb 2024	1.8 GB	131k tokenek ?	Q8_0	Kényelmes
50.7 tok/s 30–81 · alacsony bizalom	Pythia-1b ≈	1B	Apr 2023	1.8 GB	131k tokenek ?	Q8_0	Kényelmes
47.0 tok/s 28–75 · alacsony bizalom	OpenELM-1.1B ≈	1.1B	May 2024	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
46.1 tok/s 28–74 · alacsony bizalom	DeciCoder-1B ≈	1.1B	Aug 2023	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
46.1 tok/s 28–74 · alacsony bizalom	SantaCoder ≈	1.1B	Jan 2023	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
46.1 tok/s 28–74 · alacsony bizalom	TinyLlama-1.1B (1T token checkpoint) ≈	1.1B	Oct 2023	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
46.1 tok/s 28–74 · alacsony bizalom	TinyLlama-1.1B (3T token checkpoint) ≈	1.1B	Oct 2023	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
42.3 tok/s 25–68 · alacsony bizalom	EXAONE 4.0 (1.2B) ≈	1.2B	Jul 2025	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
42.3 tok/s 25–68 · alacsony bizalom	MinerU2.5 ≈	1.2B	Sep 2025	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
42.3 tok/s 25–68 · alacsony bizalom	Pleias 1.0 1.2B ≈	1.2B	Dec 2024	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
42.3 tok/s 25–68 · alacsony bizalom	Pleias-RAG-1B ≈	1.2B	Apr 2025	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
41.3 tok/s 25–66 · alacsony bizalom	Llama 3.2 1B	1.2B	Sep 2024	2.2 GB	131k tokenek	Q8_0	Kényelmes
40.7 tok/s 24–65 · alacsony bizalom	MiniCPM-1.2B ≈	1.2B	Jun 2024	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
39.0 tok/s 23–62 · alacsony bizalom	DeepSeek Coder 1.3B ≈	1.3B	Jan 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
39.0 tok/s 23–62 · alacsony bizalom	DeepSeek-VL-1.3B ≈	1.3B	Mar 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
39.0 tok/s 23–62 · alacsony bizalom	DigiRL ≈	1.3B	Jun 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
39.0 tok/s 23–62 · alacsony bizalom	GLA Transformer 1.3B ≈	1.3B	Aug 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
39.0 tok/s 23–62 · alacsony bizalom	Janus 1.3B ≈	1.3B	Oct 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
39.0 tok/s 23–62 · alacsony bizalom	Kosmos-2.5 ≈	1.3B	Aug 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
39.0 tok/s 23–62 · alacsony bizalom	Otter ≈	1.3B	May 2023	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
39.0 tok/s 23–62 · alacsony bizalom	Phi-1 ≈	1.3B	Oct 2023	2.1 GB	131k tokenek ?	Q8_0	Kényelmes

A sebességek egyetlen kérésre - egy beszélgetés egy időben - vonatkozó becslések, amelyeket a MEMORY BANDWIDTH, a MODEL SIZE és a QUANTISATION alapján számítanak ki. A valós áteresztőképesség változik az INFERENCE RUNTIME és annak verziója szerint. A HARDWARE VENDORS által közzétett számok sok párhuzamos kérést mérnek, és sokkal magasabbak..

Nyilvántartásban

Zhongshan Subor Z+ GPU Teljes specifikáció

Minden az erre a lapra vonatkozóan, rendezve aszerint, mennyire befolyásolja egy nyelvi modell futtatását, nem pedig aszerint, ahogyan egy specifikációs táblázat felsorolná. A MEMORY az első, mert ez határozza meg az eredményt; a többi a CONTEXT..

VRAM

A két specifikáció, ami meghatározza, hogy ezt a KÁRT mit tud futtatni és milyen gyorsan. A kapacitás határozza meg, hogy mely modellek férnek el; a sávszélesség határozza meg, hány token-t állítanak elő másodpercenként, miután elindultak.

Memóriaméret: 8 GB
Memória sávszélesség: 154 GB/s
Memória típus: GDDR5
Memória busz szélessége: 256 bit
Memória óra: 1.2 GHz

A chip

Melyik processor található az alaplapon és hogyan készült. Egy kisebb gyártási méret általában jobb teljesítményt jelent ugyanazon energiafelhasználás mellett.

Grafikus processzor: Fenghuang
Architektúra: GCN 5.0
Generáció: Console GPU(Zhongshan Subor)
Öntödé: TSMC
Feldolgozási méret: 14 nm
Die méret: 397 mm²
Kiadott: 3 August 2018

Órajel sebességek

Milyen gyorsan fut a processzor. Itt sokkal kevesebbet ér, mint egy játékbenchmarkon: a szöveg generálása a MEMÓRIA SÁVSZÉLESSÉG által korlátozott, így egy magasabb órajel alig mozdítja el az eredményt.

Alap óra: 1.3 GHz
Turbóóra: 1.3 GHz

Feldolgozó egységek

A chip mit tartalmaz. Ezek a grafikai teljesítményt hajtják, és főként egy hosszú prompt feldolgozása szempontjából számítanak, nem pedig a válasz előállítása szempontjából.

árnyékoló egységek: 1,536
Textúrázási egységek: 96
Render kimeneti egységek: 32

Elméleti teljesítmény

A lapra közzétett csúcsaritmetikai sebességek. Ezek olyan plafonok, amelyeket egy valódi munkaterhelés sem ér el, és a szöveg generálása csak ezek kis részét éri el, mert a memória korlátozza, nem az aritmetika.

Fél precizitás (FP16): 8 TFLOPS
Egyszeres pontosság (FP32): 4 TFLOPS
Kettős pontosság (FP64): 249.6 GFLOPS
Pixelek aránya: 42 GPixel/s
Textúra sebesség: 125 GTexel/s

A lap

Mi szükséges a kártya fizikális telepítéséhez és működtetéséhez - azok a gyakorlati korlátok, amelyek eldöntik, hogy illeszkedik-e a már meglévő géphez.

Teljesítményfelvétel (TDP): 100 W
Kimenetek megjelenítése: 2x HDMI 2.0

Szoftver-támogatás

Mely grafikai és számítási interfészeket támogat a kártya. A CUDA számítási képesség az, amely hatással van a következtetésre: 7.0 alatt nincsenek tensor magok, és a modern következtetési szoftver lassabb kódutakra tér vissza.

DirectX: 12.1
OpenGL: 4.6
Vulkan: 1.2
OpenCL: 2.1
Shader modell: 6.0

Lista

Hol lehet venni egy Zhongshan Subor Z+ GPU

Jelenleg egyetlen forgalmazó sem listázza ezt a kártyát. A listák olyan forgalmazóktól származnak, akik közvetlenül itt publikálják őket. — böngészés a forgalmazói könyvtárban látni, hogy ki mit árul.

Mit jelentenek a számok

Kapacitás és sávszélesség

VRAM

8 GB

Sávszélesség

154 GB/s

Legnagyobb modell

Baichuan 1-13B

Zhongshan Subor Z+ GPU csak hordoz 8 GB -nak GDDR5. Ez korlátozza a katalógus kisebb végére, és egy modellnek teljesen bele kell férnie, mielőtt bármilyen kimenetet generál. Egy futás valójában körülbelül 7.2 GB.

A memóriával rendelkező sávszélesség eléri 154 GB/s egy buszon keresztül a 256 bit. A Sávszélesség ennek a kártyának a valódi korlátozása. Minden token megköveteli az egész modell kiolvasását a memóriából, így egy nagy modell lassúnak tűnik itt, még akkor is, ha belefér.

A szám a busz szélessége és a memória óra szorzataként van. 1.2 GHz. Ezért a magok száma olyan rosszul jósolja a generálási sebességet.

Összeállítva a legnagyobb modell, ami belefér, az Baichuan 1-13B, 13.3B, tömörítve Q3_K_M és generálás körül 10.3 tokenek másodpercenként

A chip és hogy hogyan készült

Zhongshan Subor Z+ GPU a grafikus feldolgozón van építve Fenghuang, az architektúra használatával GCN 5.0 ból AMD, a generáció részeként Console GPU(Zhongshan Subor).

A chip-et a következő gyártó készíti TSMC, egy folyamatban 14 , egy kockával, amely méri 397 mm². Egy kisebb folyamat általában nagyobb teljesítményt jelent ugyanannyi energia mellett, bár a nyelvi modellek esetében ez sokkal kevésbé számít, mint a memória alrendszer.

Megjelent a August 2018, nagyjából 7.9943734856107 évekkel ezelőtt. A következtetési szoftver támogatás általában egy-két évvel követi a hardvert, így egy ilyen korú KÁRTYA általában érett, jól optimalizált kódútvonalakkal rendelkezik.

A számítási teljesítmény, és hogy miért számít kevesebbet, mint amilyennek tűnik

FP16

8 TFLOPS

FP64

249.6 GFLOPS

Papíron Zhongshan Subor Z+ GPU elér 8 TFLOPS félnyes pontossággal, és 4 TFLOPS egyszeres pontossággal. Ezek csúcsértékek, amelyeket valós terhelés nem fenntart, és a szöveggenerálás csak ezek egy kis töredékét éri el - a dekódolás a memória által korlátozott, nem pedig a számítási műveletek által, ezért egy kártya itt rendkívül erősnek tűnhet, mégis normális sebességgel állít elő tokeneket.

A dupla pontosságú áteresztőképesség eléri 249.6 GFLOPS. Nincs hatással a nyelvi modell futtatására — a következtetési futási idő nem használja — de elválasztja az adatközponti részeket a fogyasztóiaktól, mivel az utóbbi szándékosan korlátozza azt.

Az órajelek egy alapból futnak 1.3 GHz egy gyorsításra 1.3 GHz. Itt sokkal kevesebbet ér, mint egy játékbenchmarkon: az órajelek emelése felgyorsítja az aritmetikát, és az aritmetika nem az, amire a generáció vár.

Cache és feldolgozó egységek

Vannak 1,536 árnyékoló egységek, 96 Textúrázási egységek, és 32 Render kimeneti egységek. Ezek grafikai munkaterheket kezelnek és hozzájárulnak a prompt feldolgozáshoz, de a modell válasz generálásával töltött idő nagy részében tétlenül állnak.

Teljesítmény, méret és telepítés

Teljesítményfogyasztás

100 W

Zhongshan Subor Z+ GPU rated at 100 W. Egy nyelvi modell futtatása egy kártyát inkább rövid ideig foglalkoztat, mint folyamatosan — nagy terhelést jelent a generálás során, és kérések között tétlenkedik — így a folyamatos terhelés egy munkanap alatt általában jól a megadott érték alatt van.

Az extremitások

A legnagyobb AI modellek, amelyek futnak egy Zhongshan Subor Z+ GPU

A legnagyobb open weight modellek, amelyek elférnek ezen a kártyán, legújabb elöl. Mindegyik a kártya által elérhető legjobb tömörítésben van megjelenítve..

01 OLMo 2 Furious 13B 13B · Q3_K_M · Dec 2024 10.5 tok/s
02 Cambrian-1-13B 13B · Q3_K_M · Jun 2024 10.5 tok/s
03 Fugaku-LLM 13B · Q3_K_M · May 2024 10.5 tok/s
04 OpenThaiGPT v1.0.0 (13B) 13.1B · Q3_K_M · Apr 2024 10.5 tok/s
05 Aya 13B · Q3_K_M · Feb 2024 10.5 tok/s
06 Elyza 13B · Q3_K_M · Dec 2023 10.5 tok/s
07 NexusRaven-V2 13B · Q3_K_M · Dec 2023 10.5 tok/s
08 Baize-v2-13B (白泽) 13B · Q3_K_M · Dec 2023 10.5 tok/s
09 Stockmark-13B 13.2B · Q3_K_M · Oct 2023 10.4 tok/s
10 Baichuan 1-13B 13.3B · Q3_K_M · Jul 2023 10.3 tok/s

A leggyorsabb AI modellek egy Zhongshan Subor Z+ GPU

Ahol ez a KÁRTYA a leggyorsabban állítja elő a tokeneket. A kisebb modellek itt dominálnak, mert minden token előállítása azt jelenti, hogy az egész modellt egyszer kell kiolvasni a memóriából..

01 Gemma 3 QAT 1B 1B · Q8_0 · 1.8 GB 50.7 tok/s
02 Gemma 3 1B 1B · Q8_0 · 1.8 GB 50.7 tok/s
03 LLama 3..2 Typhoon 2 1B 1B · Q8_0 · 1.8 GB 50.7 tok/s
04 OLMo-1B 1B · Q8_0 · 1.8 GB 50.7 tok/s
05 HGRN 1B (WT 103) 1B · Q8_0 · 1.8 GB 50.7 tok/s
06 Pythia-1b 1B · Q8_0 · 1.8 GB 50.7 tok/s
07 OpenELM-1.1B 1.1B · Q8_0 · 1.9 GB 47.0 tok/s
08 TinyLlama-1.1B (1T token checkpoint) 1.1B · Q8_0 · 1.9 GB 46.1 tok/s
09 TinyLlama-1.1B (3T token checkpoint) 1.1B · Q8_0 · 1.9 GB 46.1 tok/s
10 DeciCoder-1B 1.1B · Q8_0 · 1.9 GB 46.1 tok/s

Lépésről lépésre

Hogyan lehet kiszámolni a tokenek másodpercenként egy Zhongshan Subor Z+ GPU

Nem kell semmit kézzel kiszámolnod — a gputps.com kalkulátor ezen az oldalon már kiszámította minden modelféleséghez, amit ez a kártya elbír. A válasz leolvasása hat lépést igényel..

01

Keleti AI model, amely nem illeszthető a GPU VRAM-ba, szoros megszorításokkal futtatható, kényelmesen vagy könnyen fut, nyílt forráskódú AI model, az adatbázisunkban található, legújabb GPU-k, GPU VRAM/bandwidth, GPU kártya, AI kontextusablak.

A táblázat felsorolja 337 modellek, amelyeket ez a kártya futtat. A keresés szűkíti a listát név vagy méret alapján.
02

Döntsön arról, hogy mennyi ideig tartanak a beszélgetései.

Állítsa be a kontextust a valódi munkahosszára. A rövid kérdések szinte semmit sem számítanak, de egy hosszú dokumentum jelentős részesedést fogyaszthat. 8 GB Gyakran az az, ami egy nagy modellt a határvonalon túlra lök.
03

Állítson be egy minimális minőséget, ha szüksége van rá.

Minden modell a legjobb tömörítésnél van megjelenítve, amit ez a KÁRTYA elbír. Egy minimális minőség elrejti azokat, amelyek csak úgy férnek el, ha további szorításra kerülnek, mint amit te elfogadnál.
04

Használja a tartományt válaszként

Minden sebesség egy becslés egyetlen beszélgetésre, alatta egy tartományral. A felső határ itt 50.7 tok/s on Gemma 3 QAT 1B. Ugyanaz a Kártya és Modell harminc és ötven százalékos eltérést mutat a következtetési futási idők között.
05

Ellenőrizze a memória oszlopot elköteleződés előtt.

A Szoros azt jelenti, hogy ma működik; a Kényelmes azt jelenti, hogy még mindig működik, amikor a beszélgetés nő. Hasonlítsa össze, hogy az egyes modelleknek mire van szükségük egy elérhetővel. 8 GB.
06

Nézd meg ugyanazt a modellt a másik oldalról

Minden modell oldala megismétli ezt a számítást az egész katalógusra. Érdemes megnézni, mielőtt döntesz: megmutatja, mi fut még ugyanazzal a modellel, mellette Zhongshan Subor Z+ GPU.

Válaszok

Zhongshan Subor Z+ GPU — gyakori kérdések

Zhongshan Subor Z+ GPU— ki készíti?

Ez egy terméke a AMD, a chip általi gyártásával TSMC, egy folyamatban 14 .

Zhongshan Subor Z+ GPU— Mikor adták ki?

Megjelent a August 2018.

Zhongshan Subor Z+ GPU— mennyi áramot fogyaszt?

A minősített kártya teljesítménye 100 W. A szöveg generálása nagy terhelést jelent rövid időszakokra, és a kérések között inaktív, így egy munkamenet alatt a fogyasztás általában jól below van a megadott értéknél.

Zhongshan Subor Z+ GPU— mennyi a TFLOPS-ja?

Ez értékelve van 8 TFLOPS fél precízióban és 4 TFLOPS egyszeres pontossággal. Ezek a csúcs aritmetikai plafonok, nem pedig elérhető sebességek, és a szöveggenerálás csak e plafonok kis részét éri el, mert inkább a memóriabandwidth korlátozza.

Zhongshan Subor Z+ GPU— Támogatja a CUDA-t?

Nem. A CUDA kizárólag NVIDIA, és ez egy kártya a AMD. A nyelvi modellek futtatása ROCm, Vulkan vagy Metal segítségével történik a szoftvertől függően, amelyek éretlenebbek a CUDA úthoz képest — becsléseink büntetést alkalmaznak emiatt.

Zhongshan Subor Z+ GPU— jó helyi AI modellek futtatására?

Memóriája miatt kisebb modellekre korlátozódik, bár sávszélessége azt jelenti, hogy a generálás lassúnak fog tűnni a nagyobb modellek esetében. Összesen fut 337 a modellek számára, amelyeket nyomon követünk. Hogy ez elég-e, az teljesen attól függ, hogy melyik modellt szeretnéd - a fenti táblázat közvetlenül erre válaszol.

Zhongshan Subor Z+ GPU— Futtathat egy modellt, ami nem fér el a VRAM-jában?

A kártya teljesítményén túli terhelés 8 GB lehúzza az egészet, és az ezen az oldalon található számok egyike sem feltételezi azt.

Két Zhongshan Subor Z+ GPU kártyák kétszer olyan gyorsak lesznek?

A kapacitás hozzáadódik, a throughput nem. Kettő együtt ad neked 16 GB kombinált memória, körülbelül ugyanazon generációs sebességgel, mint egy.

Zhongshan Subor Z+ GPU— Melyik AI modellt tud futtatni?

337 a 679 A nyomon követett open-weight nyelvi modellek elférnek ezen a kártyán, és helyben futtathatók. Az ezen az oldalon található táblázat minden egyes modellt felsorol, beleértve a szükséges memória mennyiségét, a futtatási kvantálást és a becsült generálási sebességet.

Zhongshan Subor Z+ GPU— Melyik a legnagyobb AI modell, amit futtatni tud?

A katalógusunkban a legnagyobb modell, ami belefér, az Baichuan 1-13B at 13.3B paraméterek, tömörített Q3_K_M. Körülbelül generál. 10.3 token másodpercenként és körülbelül 7.2 A kártya memória GB-ja.

Zhongshan Subor Z+ GPU— mennyi token másodpercenként?

A modell függvénye. A leggyorsabb modell, amit itt követünk, az Gemma 3 QAT 1B körülbelül 50.7 tokenek másodpercenként, míg a nagyobb modellek arányosan lassabban futnak, mert minden token megköveteli az egész modell memória-ből való egyszeri kiolvasását. A sebességek becslések egyetlen beszélgetés egyidejűleg.

Zhongshan Subor Z+ GPU— futtatható-e 7B modellek?

Igen. Például fut. MetaMath 7B (LLaMa finetune) at Q4_K_M, használva körülbelül 6.5 GB memória és körülbelül generálás 16.7 tokenek másodpercenként

Zhongshan Subor Z+ GPU— futtatható-e 13B modellek?

Igen. Például fut. Gemma 4 12B at Q3_K_M, használva körülbelül 6.5 GB memória és körülbelül generálás 11.5 tokenek másodpercenként

Zhongshan Subor Z+ GPU— mennyi VRAM-ja van?

Ez a KÁRTYA rendelkezik 8 GB -nak GDDR5. Körülbelül egy tizedet tartanak fenn az inference futási idő és a meghajtó, így körülbelül 7.2 GB elérhető egy AI modell számára és annak beszélgetéséhez.

Zhongshan Subor Z+ GPU— mi a memória-sávszélessége?

A memóriával rendelkező sávszélesség eléri 154 GB/s egy buszon keresztül a 256 bit. Ez a legjobb előrejelzője annak, hogy milyen gyorsan generál szöveget, mert minden egyes token előállítása azt jelenti, hogy az egész modellt egyszer el kell olvasni a memóriából.

Zhongshan Subor Z+ GPU— Milyen típusú MEMORY-t használ?

Használja GDDR5 órára állítva 1.2 GHz. A HBM típusok adatközponti gyorsítókon találhatók, és sokkal nagyobb sávszélességgel rendelkeznek, mint a GDDR, amit asztali kártyákon használnak, ezért ugyanazon kapacitás mellett jelentősen gyorsabban generálnak tokeneket.

A másik irány

Másik oldalról nézve?

Ez az oldal a hardverrel kezdődik. Ha már tudod, melyik AI modelt szeretnéd, és tudni szeretnéd, mi szükséges a futtatásához, Kezdje a MODELBŐL..

Minden GPU