Számítsa ki a TPS-t a RTX PRO 5000 72 GB Blackwell helyi AI modellek

NVIDIA 72 GB GDDR7 1,340 GB/s October 2025

Minden modell a katalógusunkban, amelyet ezzel a kártyával értékeltünk a kiválasztott kontextus hosszán és minimális minőségen. A sebesség egyetlen kérés becslése, amelyet ezen kártya memória sávszélessége és minden modell mérete alapján számoltak ki, miután tömörítették..

Kiszámítva ehhez a kártyához

602 modellek, amelyeket futtathat

679 modellek az adatbázisunkban összesen

A legnagyobb modell, amit tartalmaz.

DBRX

132B · Q3_K_M · 42.5 tok/s

Leggyorsabb modell

Gemma 3 QAT 1B

568 tok/s · 1B

Mely AI modellek futhatnak egy RTX PRO 5000 72 GB Blackwell?

Állítsa be a bemeneteket, olvassa el a választ

Kontekthossz tokenek

Több kontextus több MEMÓRIÁT jelent a beszélgetés gyorsítótárához. A sebesség egy friss beszélgetéshez való, és nem változik ezzel a beállítással..

Minimum minőség

Elrejti azokat a modelleket, amelyek csak ezen a ponton alá tömörítve férnének el..

Modellek keresése

Modell méret

Kiadott

Ismertesse a modelleket, amelyeket nem tud futtatni.

602 modellek megfelelnek

Számítás

						Kvantisálás	Illeszkedik
568 tok/s 482–681	Gemma 3 1B	1B	Mar 2025	1.8 GB	33k tokenek	Q8_0	Kényelmes
568 tok/s 482–681	Gemma 3 QAT 1B	1B	Apr 2025	1.8 GB	33k tokenek	Q8_0	Kényelmes
568 tok/s 341–908 · alacsony bizalom	HGRN 1B (WT 103) ≈	1B	Nov 2023	1.8 GB	131k tokenek ?	Q8_0	Kényelmes
568 tok/s 341–908 · alacsony bizalom	LLama 3..2 Typhoon 2 1B ≈	1B	Dec 2024	1.8 GB	131k tokenek ?	Q8_0	Kényelmes
568 tok/s 341–908 · alacsony bizalom	OLMo-1B ≈	1B	Feb 2024	1.8 GB	131k tokenek ?	Q8_0	Kényelmes
568 tok/s 341–908 · alacsony bizalom	Pythia-1b ≈	1B	Apr 2023	1.8 GB	131k tokenek ?	Q8_0	Kényelmes
525 tok/s 315–841 · alacsony bizalom	OpenELM-1.1B ≈	1.1B	May 2024	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
516 tok/s 310–826 · alacsony bizalom	DeciCoder-1B ≈	1.1B	Aug 2023	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
516 tok/s 310–826 · alacsony bizalom	SantaCoder ≈	1.1B	Jan 2023	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
516 tok/s 310–826 · alacsony bizalom	TinyLlama-1.1B (1T token checkpoint) ≈	1.1B	Oct 2023	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
516 tok/s 310–826 · alacsony bizalom	TinyLlama-1.1B (3T token checkpoint) ≈	1.1B	Oct 2023	1.9 GB	131k tokenek ?	Q8_0	Kényelmes
473 tok/s 284–757 · alacsony bizalom	EXAONE 4.0 (1.2B) ≈	1.2B	Jul 2025	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
473 tok/s 284–757 · alacsony bizalom	MinerU2.5 ≈	1.2B	Sep 2025	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
473 tok/s 284–757 · alacsony bizalom	Pleias 1.0 1.2B ≈	1.2B	Dec 2024	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
473 tok/s 284–757 · alacsony bizalom	Pleias-RAG-1B ≈	1.2B	Apr 2025	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
461 tok/s 392–554	Llama 3.2 1B	1.2B	Sep 2024	2.2 GB	131k tokenek	Q8_0	Kényelmes
455 tok/s 273–728 · alacsony bizalom	MiniCPM-1.2B ≈	1.2B	Jun 2024	2.0 GB	131k tokenek ?	Q8_0	Kényelmes
437 tok/s 262–699 · alacsony bizalom	DeepSeek Coder 1.3B ≈	1.3B	Jan 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
437 tok/s 262–699 · alacsony bizalom	DeepSeek-VL-1.3B ≈	1.3B	Mar 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
437 tok/s 262–699 · alacsony bizalom	DigiRL ≈	1.3B	Jun 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
437 tok/s 262–699 · alacsony bizalom	GLA Transformer 1.3B ≈	1.3B	Aug 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
437 tok/s 262–699 · alacsony bizalom	Janus 1.3B ≈	1.3B	Oct 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
437 tok/s 262–699 · alacsony bizalom	Kosmos-2.5 ≈	1.3B	Aug 2024	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
437 tok/s 262–699 · alacsony bizalom	Otter ≈	1.3B	May 2023	2.1 GB	131k tokenek ?	Q8_0	Kényelmes
437 tok/s 262–699 · alacsony bizalom	Phi-1 ≈	1.3B	Oct 2023	2.1 GB	131k tokenek ?	Q8_0	Kényelmes

A sebességek egyetlen kérésre - egy beszélgetés egy időben - vonatkozó becslések, amelyeket a MEMORY BANDWIDTH, a MODEL SIZE és a QUANTISATION alapján számítanak ki. A valós áteresztőképesség változik az INFERENCE RUNTIME és annak verziója szerint. A HARDWARE VENDORS által közzétett számok sok párhuzamos kérést mérnek, és sokkal magasabbak..

Nyilvántartásban

RTX PRO 5000 72 GB Blackwell Teljes specifikáció

Minden az erre a lapra vonatkozóan, rendezve aszerint, mennyire befolyásolja egy nyelvi modell futtatását, nem pedig aszerint, ahogyan egy specifikációs táblázat felsorolná. A MEMORY az első, mert ez határozza meg az eredményt; a többi a CONTEXT..

VRAM

A két specifikáció, ami meghatározza, hogy ezt a KÁRT mit tud futtatni és milyen gyorsan. A kapacitás határozza meg, hogy mely modellek férnek el; a sávszélesség határozza meg, hány token-t állítanak elő másodpercenként, miután elindultak.

Memóriaméret: 72 GB
Memória sávszélesség: 1,340 GB/s
Memória típus: GDDR7
Memória busz szélessége: 384 bit
Memória óra: 1.75 GHz

A chip

Melyik processor található az alaplapon és hogyan készült. Egy kisebb gyártási méret általában jobb teljesítményt jelent ugyanazon energiafelhasználás mellett.

Grafikus processzor: GB202
Architektúra: Blackwell 2.0
Generáció: Blackwell PRO W(x000)
Öntödé: TSMC
Feldolgozási méret: 5 nm
Tranzisztorok: 92.2 billion
Tranzisztor sűrűség: 122,900 K/mm²
Die méret: 750 mm²
Kiadott: 21 October 2025

Órajel sebességek

Milyen gyorsan fut a processzor. Itt sokkal kevesebbet ér, mint egy játékbenchmarkon: a szöveg generálása a MEMÓRIA SÁVSZÉLESSÉG által korlátozott, így egy magasabb órajel alig mozdítja el az eredményt.

Alap óra: 1.74 GHz
Turbóóra: 2.38 GHz

Feldolgozó egységek

A chip mit tartalmaz. Ezek a grafikai teljesítményt hajtják, és főként egy hosszú prompt feldolgozása szempontjából számítanak, nem pedig a válasz előállítása szempontjából.

árnyékoló egységek: 14,080
Textúrázási egységek: 440
Render kimeneti egységek: 176
Streaming multiprocesszorok: 110
Tenzor magok: 440
Ray tracing magok: 110
L1 gyorsítótár: 128 KB
L2 gyorsítótár: 96 MB

Elméleti teljesítmény

A lapra közzétett csúcsaritmetikai sebességek. Ezek olyan plafonok, amelyeket egy valódi munkaterhelés sem ér el, és a szöveg generálása csak ezek kis részét éri el, mert a memória korlátozza, nem az aritmetika.

Fél precizitás (FP16): 66.9 TFLOPS
Egyszeres pontosság (FP32): 66.9 TFLOPS
Kettős pontosság (FP64): 1 TFLOPS
Pixelek aránya: 418 GPixel/s
Textúra sebesség: 1,046 GTexel/s

A lap

Mi szükséges a kártya fizikális telepítéséhez és működtetéséhez - azok a gyakorlati korlátok, amelyek eldöntik, hogy illeszkedik-e a már meglévő géphez.

Teljesítményfelvétel (TDP): 300 W
Javasolt tápegység: 700 W
Áramellátó csatlakozók: 1x 16-pin
Busz interfész: PCIe 5.0 x16
Bővítőhely szélessége: Dual-slot
Dimenziók: 267 mm × 40 mm
Kimenetek megjelenítése: 4x DisplayPort 2.1b

Szoftver-támogatás

Mely grafikai és számítási interfészeket támogat a kártya. A CUDA számítási képesség az, amely hatással van a következtetésre: 7.0 alatt nincsenek tensor magok, és a modern következtetési szoftver lassabb kódutakra tér vissza.

CUDA számítási képesség: 12.0
DirectX: 12.2
OpenGL: 4.6
Vulkan: 1.4
OpenCL: 3.0
Shader modell: 6.8

Lista

Hol lehet venni egy RTX PRO 5000 72 GB Blackwell

Jelenleg egyetlen forgalmazó sem listázza ezt a kártyát. A listák olyan forgalmazóktól származnak, akik közvetlenül itt publikálják őket. — böngészés a forgalmazói könyvtárban látni, hogy ki mit árul.

Mit jelentenek a számok

Miért a memória az a szám, ami itt számít

VRAM

72 GB

Sávszélesség

1,340 GB/s

Legnagyobb modell

DBRX

RTX PRO 5000 72 GB Blackwell hordoz 72 GB -nak GDDR7. Ez lefedi a legtöbb ember által valóban futtatott közepes méretű modelleket. Miután a futási idő és a meghajtó lefoglalja a munkaterületét, körülbelül ennyi marad: 64.8 GB.

A memóriával rendelkező sávszélesség eléri 1,340 GB/s egy buszon keresztül a 384 bit. A token generálása azt jelenti, hogy minden súlyt egyszer elolvasunk, így ez a szám inkább meghatározza a tempót, mint bármely más szám itt, és ezen a szinten a szöveg gyorsabban érkezik, mint ahogy a legtöbb ember olvas.

A sávszélesség a óra szorozva az busz szélességgel, és ez a KÁRTYA az memória órajelét 1.75 GHz. Ezért a magok száma olyan rosszul jósolja a generálási sebességet.

A legnagyobb dolog, amit tart, az DBRX, 132B, tömörítve Q3_K_M és generálás körül 42.5 tokenek másodpercenként

A chip és hogy hogyan készült

RTX PRO 5000 72 GB Blackwell a grafikus feldolgozón van építve GB202, az architektúra használatával Blackwell 2.0 ból NVIDIA, a generáció részeként Blackwell PRO W(x000).

A chip-et a következő gyártó készíti TSMC, egy folyamatban 5 , egy kockával, amely méri 750 mm², tartás 92.2 billion Tranzisztorok. Egy kisebb folyamat általában nagyobb teljesítményt jelent ugyanannyi energia mellett, bár a nyelvi modellek esetében ez sokkal kevésbé számít, mint a memória alrendszer.

Megjelent a October 2025. A következtetési szoftver támogatás általában egy-két évvel követi a hardvert, így egy ilyen korú KÁRTYA általában érett, jól optimalizált kódútvonalakkal rendelkezik.

A számítási teljesítmény, és hogy miért számít kevesebbet, mint amilyennek tűnik

FP16

66.9 TFLOPS

FP64

1 TFLOPS

Tenzor magok

440

Papíron RTX PRO 5000 72 GB Blackwell elér 66.9 TFLOPS félnyes pontossággal, és 66.9 TFLOPS egyszeres pontossággal. Ezek csúcsértékek, amelyeket valós terhelés nem fenntart, és a szöveggenerálás csak ezek egy kis töredékét éri el - a dekódolás a memória által korlátozott, nem pedig a számítási műveletek által, ezért egy kártya itt rendkívül erősnek tűnhet, mégis normális sebességgel állít elő tokeneket.

A dupla pontosságú áteresztőképesség eléri 1 TFLOPS. Nincs hatással a nyelvi modell futtatására — a következtetési futási idő nem használja — de elválasztja az adatközponti részeket a fogyasztóiaktól, mivel az utóbbi szándékosan korlátozza azt.

A kártya hordozza 440 Tenzor magok át跨 110 Streaming multiprocesszorok. Ezek felgyorsítják a mátrix aritmetikát, amely a transzformátor szívében található, és ők azok, akik drámaian gyorsabbá teszik a prompt feldolgozást — egy hosszú dokumentum elolvasását mielőtt válaszolnának — mint ahogyan az máskülönben lenne.

Az órajelek egy alapból futnak 1.74 GHz egy gyorsításra 2.38 GHz. Itt sokkal kevesebbet ér, mint egy játékbenchmarkon: az órajelek emelése felgyorsítja az aritmetikát, és az aritmetika nem az, amire a generáció vár.

Cache és feldolgozó egységek

RTX PRO 5000 72 GB Blackwell L1 gyorsítótárral rendelkezik 128 Kb, L2 gyorsítótár támogatásával 96 MB. A cache egy részesedést felszív a memóriaforgalomból, ami egyébként a fő buszt érné el, ami az egyetlen hely ezen az oldalon, ahol a sávszélességen kívül más szám is csendben befolyásolja a generálási sebességet — egy nagy L2 lehetővé teszi, hogy a munkakészlet több része közel maradjon a magokhoz.

Vannak 14,080 árnyékoló egységek, 440 Textúrázási egységek, és 176 Render kimeneti egységek. Ezek grafikai munkaterheket kezelnek és hozzájárulnak a prompt feldolgozáshoz, de a modell válasz generálásával töltött idő nagy részében tétlenül állnak.

Teljesítmény, méret és telepítés

Teljesítményfogyasztás

300 W

RTX PRO 5000 72 GB Blackwell rated at 300 W, és a javasolt rendszer tápegység 700 W. Egy nyelvi modell futtatása egy kártyát inkább rövid ideig foglalkoztat, mint folyamatosan — nagy terhelést jelent a generálás során, és kérések között tétlenkedik — így a folyamatos terhelés egy munkanap alatt általában jól a megadott érték alatt van.

A panel elfoglalja dual-slot, mérés 267 mm hosszú, és szükséges 1x 16-pin. Érdemes ellenőrizni a gépben lévő házat és tápegységet, mivel a legnagyobb kártyáknak lényegesen több mindkettőre van szükségük, mint amit egy tipikus asztali gép biztosít.

Csatlakozik a PCIe 5.0 x16. A felület szabályozza, hogy a modell milyen gyorsan töltődik be a lemezről a kártyára, nem azt, hogy ott milyen gyorsan fut, így egy szűkebb kapcsolat néhány másodpercbe kerül a rendszerindításkor, és utána semmi.

Az extremitások

A legnagyobb AI modellek, amelyek futnak egy RTX PRO 5000 72 GB Blackwell

A legnagyobb open weight modellek, amelyek elférnek ezen a kártyán, legújabb elöl. Mindegyik a kártya által elérhető legjobb tömörítésben van megjelenítve..

01 Mistral Medium 3.5 128B · Q3_K_M · Apr 2026 12.0 tok/s
02 Qwen3.5-122B-A10B 122B · IQ4_XS · Feb 2026 63.5 tok/s
03 Devstral 2 (123B) 123B · Q3_K_M · Dec 2025 12.5 tok/s
04 gpt-oss-120b 116.8B · IQ4_XS · Aug 2025 11.9 tok/s
05 Command A Vision 112B · IQ4_XS · Jul 2025 12.4 tok/s
06 Pixtral Large 124B · Q3_K_M · Nov 2024 12.4 tok/s
07 Mistral Large 2.1 123B · Q3_K_M · Nov 2024 12.5 tok/s
08 Telechat2-115B 115B · IQ4_XS · Sep 2024 12.1 tok/s
09 Mistral Large 2 123B · Q3_K_M · Jul 2024 12.5 tok/s
10 DBRX 132B · Q3_K_M · Mar 2024 42.5 tok/s

A leggyorsabb AI modellek egy RTX PRO 5000 72 GB Blackwell

Ahol ez a KÁRTYA a leggyorsabban állítja elő a tokeneket. A kisebb modellek itt dominálnak, mert minden token előállítása azt jelenti, hogy az egész modellt egyszer kell kiolvasni a memóriából..

01 Gemma 3 QAT 1B 1B · Q8_0 · 1.8 GB 568 tok/s
02 Gemma 3 1B 1B · Q8_0 · 1.8 GB 568 tok/s
03 LLama 3..2 Typhoon 2 1B 1B · Q8_0 · 1.8 GB 568 tok/s
04 OLMo-1B 1B · Q8_0 · 1.8 GB 568 tok/s
05 HGRN 1B (WT 103) 1B · Q8_0 · 1.8 GB 568 tok/s
06 Pythia-1b 1B · Q8_0 · 1.8 GB 568 tok/s
07 OpenELM-1.1B 1.1B · Q8_0 · 1.9 GB 525 tok/s
08 TinyLlama-1.1B (1T token checkpoint) 1.1B · Q8_0 · 1.9 GB 516 tok/s
09 TinyLlama-1.1B (3T token checkpoint) 1.1B · Q8_0 · 1.9 GB 516 tok/s
10 DeciCoder-1B 1.1B · Q8_0 · 1.9 GB 516 tok/s

Lépésről lépésre

Hogyan lehet kiszámolni a tokenek másodpercenként egy RTX PRO 5000 72 GB Blackwell

Nem kell semmit kézzel kiszámolnod — a gputps.com kalkulátor ezen az oldalon már kiszámította minden modelféleséghez, amit ez a kártya elbír. A válasz leolvasása hat lépést igényel..

01

Keresd meg a kívánt modellt

A táblázat felsorolja 602 modellek, amelyeket ez a kártya futtat. A keresés szűkíti a listát név vagy méret alapján.
02

Illeszd a kontextust a munkádhoz

A hosszabb beszélgetések memóriahasználata a súlyok mellett. 72 GB Gyakran az az, ami egy nagy modellt a határvonalon túlra lök.
03

Rögzítse az összehasonlítást egy minőségi szintre.

A tömörítés az, ami lehetővé teszi, hogy a nagyobb modellek elférjenek. A minőségellenőrzés elutasít minden olyan modellt, amely több tömörítést igényel, mint amennyit hajlandó vagy adni.
04

Nézd meg a tartományt, ne csak a számot.

A számok kiszámolt, nem mért. A leggyorsabb eredmény ezen a KÁRTYÁN 568 tok/s on Gemma 3 QAT 1B. Ugyanaz a Kártya és Modell harminc és ötven százalékos eltérést mutat a következtetési futási idők között.
05

Olvasd el a "fit" verdiktet utoljára.

Egy szoros illeszkedés fut, de nem hagy helyet a későbbi kontextus növelésére; a kényelmesnek van fejtérfölénye. A memória oszlop megmutatja, hogy minden modellnek mire van szüksége a rendelkezésre állóval szemben. 72 GB.
06

Nyisd meg a modellt, hogy összehasonlíthasd a kártyákat.

Követve egy modellt a saját oldalán, felsorolja az összes hardvert, ami futtathatja, így láthatod, hogyan hasonlít össze RTX PRO 5000 72 GB Blackwell.

Válaszok

RTX PRO 5000 72 GB Blackwell — gyakori kérdések

RTX PRO 5000 72 GB Blackwell— futtatható-e 70B modellek?

Igen. Például fut. Qwen3-Coder-Next at Q6_K, használva körülbelül 62.0 GB memória és körülbelül generálás 57.3 tokenek másodpercenként

RTX PRO 5000 72 GB Blackwell— mennyi VRAM-ja van?

Ez a KÁRTYA rendelkezik 72 GB -nak GDDR7. Körülbelül egy tizedet tartanak fenn az inference futási idő és a meghajtó, így körülbelül 64.8 GB elérhető egy AI modell számára és annak beszélgetéséhez.

RTX PRO 5000 72 GB Blackwell— mi a memória-sávszélessége?

A memóriával rendelkező sávszélesség eléri 1,340 GB/s egy buszon keresztül a 384 bit. Ez a legjobb előrejelzője annak, hogy milyen gyorsan generál szöveget, mert minden egyes token előállítása azt jelenti, hogy az egész modellt egyszer el kell olvasni a memóriából.

RTX PRO 5000 72 GB Blackwell— Milyen típusú MEMORY-t használ?

Használja GDDR7 órára állítva 1.75 GHz. A HBM típusok adatközponti gyorsítókon találhatók, és sokkal nagyobb sávszélességgel rendelkeznek, mint a GDDR, amit asztali kártyákon használnak, ezért ugyanazon kapacitás mellett jelentősen gyorsabban generálnak tokeneket.

RTX PRO 5000 72 GB Blackwell— ki készíti?

Ez egy terméke a NVIDIA, a chip általi gyártásával TSMC, egy folyamatban 5 .

RTX PRO 5000 72 GB Blackwell— Mikor adták ki?

Megjelent a October 2025.

RTX PRO 5000 72 GB Blackwell— mennyi áramot fogyaszt?

A minősített kártya teljesítménye 300 W, és a javasolt rendszer tápegység 700 W. A szöveg generálása nagy terhelést jelent rövid időszakokra, és a kérések között inaktív, így egy munkamenet alatt a fogyasztás általában jól below van a megadott értéknél.

RTX PRO 5000 72 GB Blackwell— mennyi cache-e van?

Az L1 gyorsítótár 128 Kb, és az L2 gyorsítótár 96 MB. A Cache felszívja a memóriaforgalom egy részét, amely egyébként elérné a fő buszt, így egy nagyobb L2 szerény mértékben növeli a generálási sebességet, a sávszélesség által egyedül előre jelzett értékhez képest.

RTX PRO 5000 72 GB Blackwell— mennyi a TFLOPS-ja?

Ez értékelve van 66.9 TFLOPS fél precízióban és 66.9 TFLOPS egyszeres pontossággal. Ezek a csúcs aritmetikai plafonok, nem pedig elérhető sebességek, és a szöveggenerálás csak e plafonok kis részét éri el, mert inkább a memóriabandwidth korlátozza.

RTX PRO 5000 72 GB Blackwell— Hány TENSOR CORE-ja van?

Van 440 Tenzor magok át跨 110 Streaming multiprocesszorok. Felgyorsítják a mátrixaritmetikát, amelyből a transformer fel van építve, ami elsősorban a hosszú prompt feldolgozását gyorsítja, nem pedig a válasz előállítását.

RTX PRO 5000 72 GB Blackwell— Támogatja a CUDA-t?

Igen. Jelentést ad a CUDA számítási képességről. 12.0. A 7.0 és annál magasabb képességű modellek rendelkeznek tenzormagokkal, amelyeket a modern inferencia szoftver használ; ennél alacsonyabb szinten lassabb kódú utakat használ a kvantált modellekhez.

RTX PRO 5000 72 GB Blackwell— Milyen busz interfészt használ?

Használja PCIe 5.0 x16. Ez szabályozza, hogy milyen gyorsan töltődik be egy modell a kártyára, ahelyett, hogy azt nézné, milyen gyorsan fut, miután betöltődött, így ez néhány másodpercet vesz igénybe a rendszerindításkor, és semmit a generálás során.

RTX PRO 5000 72 GB Blackwell— jó helyi AI modellek futtatására?

Memóriája elég nagy ahhoz, hogy olyan modelleket támogasson, amelyeket a legtöbb asztali hardver nem tud kezelni, és sávszélessége elég magas ahhoz, hogy gyorsabban generáljon szöveget, mint ahogy a legtöbb ember olvas. Összességében fut 602 a modellek számára, amelyeket nyomon követünk. Hogy ez elég-e, az teljesen attól függ, hogy melyik modellt szeretnéd - a fenti táblázat közvetlenül erre válaszol.

RTX PRO 5000 72 GB Blackwell— Futtathat egy modellt, ami nem fér el a VRAM-jában?

Fel lehet osztani, az átlépés a rendszer MEMÓRIÁBAN marad, a kártya mögött. 72 GB lehúzza az egészet, és az ezen az oldalon található számok egyike sem feltételezi azt.

Két RTX PRO 5000 72 GB Blackwell kártyák kétszer olyan gyorsak lesznek?

A kapacitás hozzáadódik, a throughput nem. Kettő együtt ad neked 144 GB egy GPU-val dolgozni, nem pedig kétszer annyi TOKEN másodpercenként — minden szám egyetlen KÁRTYÁRA vonatkozik.

RTX PRO 5000 72 GB Blackwell— Melyik AI modellt tud futtatni?

602 a 679 A nyomon követett open-weight nyelvi modellek elférnek ezen a kártyán, és helyben futtathatók. Az ezen az oldalon található táblázat minden egyes modellt felsorol, beleértve a szükséges memória mennyiségét, a futtatási kvantálást és a becsült generálási sebességet.

RTX PRO 5000 72 GB Blackwell— Melyik a legnagyobb AI modell, amit futtatni tud?

A katalógusunkban a legnagyobb modell, ami belefér, az DBRX at 132B paraméterek, tömörített Q3_K_M. Körülbelül generál. 42.5 token másodpercenként és körülbelül 64.2 A kártya memória GB-ja.

RTX PRO 5000 72 GB Blackwell— mennyi token másodpercenként?

A modell függvénye. A leggyorsabb modell, amit itt követünk, az Gemma 3 QAT 1B körülbelül 568 tokenek másodpercenként, míg a nagyobb modellek arányosan lassabban futnak, mert minden token megköveteli az egész modell memória-ből való egyszeri kiolvasását. A sebességek becslések egyetlen beszélgetés egyidejűleg.

RTX PRO 5000 72 GB Blackwell— futtatható-e 7B modellek?

Igen. Például fut. Multi-Token Prediction 7B at Q8_0, használva körülbelül 7.9 GB memória és körülbelül generálás 84.7 tokenek másodpercenként

RTX PRO 5000 72 GB Blackwell— futtatható-e 13B modellek?

Igen. Például fut. DeepSeekMoE-16B at Q8_0, használva körülbelül 17.5 GB memória és körülbelül generálás 197 tokenek másodpercenként

RTX PRO 5000 72 GB Blackwell— futtatható-e 30B modellek?

Igen. Például fut. ERNIE-4.5-VL-28B-A3B at Q8_0, használva körülbelül 29.2 GB memória és körülbelül generálás 113 tokenek másodpercenként

A másik irány

Másik oldalról nézve?

Ez az oldal a hardverrel kezdődik. Ha már tudod, melyik AI modelt szeretnéd, és tudni szeretnéd, mi szükséges a futtatásához, Kezdje a MODELBŐL..

Minden GPU