DeepSeek-V3 TPS kalkulátor
Minden kártyát az alábbiak szerint értékelünk e modell alapján a választott kontextus hossza és minimális minőség szerint. A sebesség egy becslés egyetlen kérésre, amelyet a kártya memória sávszélessége és a modell mérete alapján számítunk ki, miután tömörítettük..
Kiszámítva ehhez a MODElhez
818 kártyák, amelyek specifikációs adataink vannak
Melyik GPU képes futtatni DeepSeek-V3?
Állítsa be a bemeneteket, olvassa el a választ
Egy hosszabb beszélgetés több memóriaigényt támaszt, ami kiszoríthatja ezt a modellt a kisebb kártyákról..
Elrejti azokat a GPU-kártyákat, amelyek csak a modellbe illeszkednének a compressziójuk ezen pont alá..
0 kártyák illeszkednek
Számítás| Szükséges | Kvantisálás | Illeszkedik | |||||
|---|---|---|---|---|---|---|---|
|
A katalógusunkban nincs olyan GPU, amely képes lenne futtatni ezt a modellt ezekkel a beállításokkal.. |
|||||||
A sebességek egyetlen kérésre - egy beszélgetés egy időben - vonatkozó becslések, amelyeket a MEMORY BANDWIDTH, a MODEL SIZE és a QUANTISATION alapján számítanak ki. A valós áteresztőképesség változik az INFERENCE RUNTIME és annak verziója szerint. A HARDWARE VENDORS által közzétett számok sok párhuzamos kérést mérnek, és sokkal magasabbak..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- DeepSeek
- Szervezet típusa
- Industry
- Ország
- China
- Közölt
- 24 December 2024
- Szerzők
- DeepSeek-AI, Aixin Liu, Bei Feng, Bing Xue, Bingxuan Wang, Bochao Wu, Chengda Lu, Chenggang Zhao, Chengqi Deng, Chenyu Zhang, Chong Ruan, Damai Dai, Daya Guo, Dejian Yang, Deli Chen, Dongjie Ji, Erhang Li, Fangyun Lin, Fucong Dai, Fuli Luo, Guangbo Hao, Guanting Chen, Guowei Li, H. Zhang, Han Bao, Hanwei Xu, Haocheng Wang, Haowei Zhang, Honghui Ding, Huajian Xin, Huazuo Gao, Hui Li, Hui Qu, J.L. C…
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling/generation, Code generation, Quantitative reasoning, Question answering
- Numerikus formátum
- FP8
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 671B
- Képzési adatok
- 14,800,000,000,000 tokens
- Tételméret
- 62,914,560
Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token.
"We pre-train DeepSeek-V3 on 14.8 trillion diverse and high-quality tokens, followed by Supervised Fine-Tuning and Reinforcement Learning stages to fully harness its capabilities"
15360 * 4096
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 3.3 × 10²⁴ FLOP
- Hogyan jött létre
- Operation counting,Hardware
6 × 37B × 14.8T = 3.29e24 pretraining FLOPs, 1e22 posttrainining FLOPs - see doc below https://docs.google.com/document/d/1C4zBvHh4UNnzaorwQSdG61zQJsBV9X3i3A70NeelxHY/edit?usp=sharing
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA H800 SXM5
- Használt chipek
- 2,048
- Chip-óra
- 2,788,000
- Hardverhasználat
- MFU 19.5%
- Teljesítményfogyasztás
- 2.8 MW
- Számítási költség
- $5,390,000
- Adatközpont
- Paper on DeepSeek-V3
Table 4: Training metric comparison "Causal MFU only takes into account the flops of the lower triangle of the attention matrix (in line with FlashAttention), while non-causal MFU includes the flops of the whole attention matrix (in line with Megatron)" TFLOPS (causal) = 385 H800 maximum FP8 performance = 1979 TFLOPS therefore MFU = 385/1979 = 0.1947
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Open — downloadable
- Modell hozzáférés
- Open weights (restricted use)
- Képzés kód
- Unreleased
- Hugging Face
- deepseek-ai
MIT and deepseek license https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file I cannot see training code in this repo https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Valószínűleg 10²³ FLOP felett
- Yes
- Miért követik nyomon
- Training cost
- Nyilvántartási bizalom
- Confident
training cost was $5.3million USD (Table 1)
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- DeepSeek-V3 Technical Report
- Utoljára frissítve
- 19 February 2026
Mit jelentenek a számok
Mi szükséges ehhez a modellhez való futtatáshoz
DeepSeek-V3 eléri a paraméterek számát 671B. Ez túl van azon, amit bármelyik egyedi GPU kártya kezelni tud. A futtatása azt jelenti, hogy vagy több kártyára osztja, vagy olyan hardvert bérel, amelyet erre a feladatra terveztek, és minden olyan kártya, amely egyedül képes kezelni, egy adatközponti alkatrész. Az a szám, amely képes rá: 0.
Honnan jött
DeepSeek-V3 ki lett adva által DeepSeek, az országban rögzítve mint China, alatt December 2024. Egy olyan szervezetből származik, amelyet kategorizálnak mint industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling/generation, Code generation, Quantitative reasoning, Question answering.
A nyílt súlyok az okai annak, hogy ez az oldal a kalkulátorban van, és nem csak a katalógusban: ez egy olyan modell, amit valójában meg tudsz tartani. A Hugging Face-en az alábbi szervezet alatt van publikálva deepseek-ai.
Hogyan lett betanítva
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 3.3 × 10²⁴ FLOP, hardveren rögzítve NVIDIA H800 SXM5. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A képzés körülbelül egy korpuszt fogyasztott 14,800,000,000,000 szöveg tokenjei
A kiválasztási kritériuma: training cost.
Lépésről lépésre
Hogyan válasszunk GPU-t a DeepSeek-V3
A fenti táblázat már értékelte az összes kártyát, amelynek specifikációi elérhetők ennek a modellen. A válaszod megszerzése hat lépést igényel..
-
01
Nézd meg, mire van szüksége, mielőtt bármi mást tennél.
Minden kártyát itt leellenőriztünk a következőkkel szemben DeepSeek-V3. A kapacitás a kapu — egy kártya vagy tartalmazza, vagy nem.
-
02
Illeszd a kontextust a tényleges használatodhoz.
Állítsa be a kontextust arra, amit valójában használni fog. A cache a beszélgetéssel nő, és ez a szokásos oka annak, hogy egy kártya, amelynek korábban rendben kellett volna lennie, egyszer csak nem fér el. DeepSeek-V3.
-
03
Válaszd ki, milyen messzire fogod tömöríteni.
Minden KÁRTYA a legkevésbé tömörített másolatot futtatja, amelyet el tud tartani.. A minimális minőség beállítása eldobja azokat a kártyákat, amelyek csak úgy tudják kezelni, hogy tovább szorítanak, mint amit szeretnél, és egy szinten tartja az összehasonlítást.
-
04
Rangsoroljon átbocsátás alapján, nem pedig specifikációs lap szerint.
Rendezze sebesség szerint, hogy lássa, hogyan rangsorolnak a kártyák. DeepSeek-V3. Nem fog illeszkedni egy gaming rendeléshez, mert a generálás a memória sávszélesség által kötött.
-
05
Ellenőrizd a megfelelő ítéletet vásárlás előtt.
Tömör jelentése, hogy betölti és működik, nincs hely a későbbi kontextus növelésére, a következő esetben DeepSeek-V3. A Kényelmes azt jelenti, hogy később bővítheted a contextet. Ez a különbség fontosabb, mint néhány token másodpercenként, így kényelmeset vásárolj, ha ezt várod.
-
06
Nézd meg, mit futtat még az a kártya.
Egy KÁRTYA végigkövetése a saját oldaláig megmutatja az összes többi modellt, amelyet el tud tartani, ami az a kérdés, ami felmerül, miután döntöttél. DeepSeek-V3.
Válaszok
DeepSeek-V3 — gyakori kérdések
DeepSeek-V3— Ki készítette ezt?
Kiadta DeepSeek, alapján China, egy szervezet, amelyet kategorizáltak mint industry.
DeepSeek-V3— Mikor adták ki?
Kibocsátották a December 2024. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
DeepSeek-V3— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Code generation, Quantitative reasoning, Question answering. A modell több mindenből is képes cipelni, így ezek azok a területek, amelyekre épült, nem pedig egy korlát arra, amit meg fog próbálni.
DeepSeek-V3— Hol tudom letölteni?
Súlyait a Hugging Face-en tette közzé, a szervezet alatt deepseek-ai. Nem tárolunk modell fájlokat — ez az oldal kiszámolja, hogy milyen hardver szükséges a futtatásukhoz.
DeepSeek-V3— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 3.3 × 10²⁴ FLOP, hardveren rögzítve NVIDIA H800 SXM5. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
DeepSeek-V3— Futtathatom, ha nem fér el a GPU-mban?
Csak a terhelés áthelyezésével, amely általában téves gazdaságosság: a rendszermemóriában tárolt rész az egészet visszahúzza. A legközelebbi hiba, amit számítunk, alulmúlja 147.5 GB Minden ábra azt feltételezi, hogy az egész model a kártyán tartózkodik.
DeepSeek-V3— Futtatna-e két GPU gyorsabban?
A kapacitás kártyánként összeadódik; a teljesítmény nem. A kártyák számának már saját magukban tartva: 0. Tehát egy második KÁRTYA ritkán a megoldás itt.
DeepSeek-V3— miért különbözik a kvantálás a kártyák között?
Minden kártya a lehető legkevésbé tömörített másolatát futtatva jelenik meg, amit képes tárolni. A kártyákon elférő különböző tömörítési szintek száma: 1. A nagyobb kártyák a pontosabb verziót kapják, és a minőségi küszöb felett a összehasonlítást egy szinten rögzíti.
DeepSeek-V3— Mennyire pontosak ezek a sebességbecslések?
Minden szám a memória sávszélességből és a modell méretéből származik, nem benchmarkolták, ezért mindet tartományként tették közzé, nem pedig egyetlen számként. Egy például: a távolság minden egyes szám alatt. Ugyanaz a modell és kártya harminc és ötven százalék között változik a következtetési szoftvertől és annak verziójától függően.
DeepSeek-V3— Nyílt forráskódú?
Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.
DeepSeek-V3— Hány paramétere van?
Paraméterszáma 671B. Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..