DeepSeek-V3 (Mar 2025) TPS kalkulátor
Minden kártyát az alábbiak szerint értékelünk e modell alapján a választott kontextus hossza és minimális minőség szerint. A sebesség egy becslés egyetlen kérésre, amelyet a kártya memória sávszélessége és a modell mérete alapján számítunk ki, miután tömörítettük..
Kiszámítva ehhez a MODElhez
818 kártyák, amelyek specifikációs adataink vannak
Melyik GPU képes futtatni DeepSeek-V3 (Mar 2025)?
Állítsa be a bemeneteket, olvassa el a választ
Egy hosszabb beszélgetés több memóriaigényt támaszt, ami kiszoríthatja ezt a modellt a kisebb kártyákról..
Elrejti azokat a GPU-kártyákat, amelyek csak a modellbe illeszkednének a compressziójuk ezen pont alá..
0 kártyák illeszkednek
Számítás| Szükséges | Kvantisálás | Illeszkedik | |||||
|---|---|---|---|---|---|---|---|
|
A katalógusunkban nincs olyan GPU, amely képes lenne futtatni ezt a modellt ezekkel a beállításokkal.. |
|||||||
A sebességek egyetlen kérésre - egy beszélgetés egy időben - vonatkozó becslések, amelyeket a MEMORY BANDWIDTH, a MODEL SIZE és a QUANTISATION alapján számítanak ki. A valós áteresztőképesség változik az INFERENCE RUNTIME és annak verziója szerint. A HARDWARE VENDORS által közzétett számok sok párhuzamos kérést mérnek, és sokkal magasabbak..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- DeepSeek
- Szervezet típusa
- Industry
- Ország
- China
- Közölt
- 24 March 2025
- Szerzők
- DeepSeek-AI, Aixin Liu, Bei Feng, Bing Xue, Bingxuan Wang, Bochao Wu, Chengda Lu, Chenggang Zhao, Chengqi Deng, Chenyu Zhang, Chong Ruan, Damai Dai, Daya Guo, Dejian Yang, Deli Chen, Dongjie Ji, Erhang Li, Fangyun Lin, Fucong Dai, Fuli Luo, Guangbo Hao, Guanting Chen, Guowei Li, H. Zhang, Han Bao, Hanwei Xu, Haocheng Wang, Haowei Zhang, Honghui Ding, Huajian Xin, Huazuo Gao, Hui Li, Hui Qu, J.L. C…
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling/generation, Code generation, Quantitative reasoning, Question answering
- Numerikus formátum
- FP8
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 671B
- Képzési adatok
- 14,800,000,000,000 tokens
- Tételméret
- 62,914,560
Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token.
"We pre-train DeepSeek-V3 on 14.8 trillion diverse and high-quality tokens, followed by Supervised Fine-Tuning and Reinforcement Learning stages to fully harness its capabilities"
15360 * 4096
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 3.3 × 10²⁴ FLOP
- Hogyan jött létre
- Operation counting,Hardware
6 × 37B × 14.8T = 3.29e24 pretraining FLOPs, 1e22 posttrainining FLOPs - see doc below https://docs.google.com/document/d/1C4zBvHh4UNnzaorwQSdG61zQJsBV9X3i3A70NeelxHY/edit?usp=sharing
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA H800 SXM5
- Használt chipek
- 2,048
- Chip-óra
- 2,788,000
- Hardverhasználat
- MFU 19.5%
- Teljesítményfogyasztás
- 2.8 MW
- Számítási költség
- $5,390,000
- Adatközpont
- Paper on DeepSeek-V3
Table 4: Training metric comparison "Causal MFU only takes into account the flops of the lower triangle of the attention matrix (in line with FlashAttention), while non-causal MFU includes the flops of the whole attention matrix (in line with Megatron)" TFLOPS (causal) = 385 H800 maximum FP8 performance = 1979 TFLOPS therefore MFU = 385/1979 = 0.1947
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Open — downloadable
- Modell hozzáférés
- Open weights (restricted use)
- Képzés kód
- Unreleased
- Hugging Face
- deepseek-ai
MIT and deepseek license https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file I cannot see training code in this repo https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Valószínűleg 10²³ FLOP felett
- Yes
- Miért követik nyomon
- Training cost
- Nyilvántartási bizalom
- Confident
training cost was $5.3million USD (Table 1)
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- DeepSeek-V3 Technical Report
- Utoljára frissítve
- 19 February 2026
Mit jelentenek a számok
Ami szükséges a futtatásához
DeepSeek-V3 (Mar 2025) eléri a paraméterek számát 671B. Ez túl van azon, amit bármelyik egyedi GPU kártya kezelni tud. A futtatása azt jelenti, hogy vagy több kártyára osztja, vagy olyan hardvert bérel, amelyet erre a feladatra terveztek, és minden olyan kártya, amely egyedül képes kezelni, egy adatközponti alkatrész. Az a szám, amely képes rá: 0.
Háttér
DeepSeek-V3 (Mar 2025) ki lett adva által DeepSeek, az országban rögzítve mint China, alatt March 2025. Egy olyan szervezetből származik, amelyet kategorizálnak mint industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling/generation, Code generation, Quantitative reasoning, Question answering.
A súlyok közzétéve vannak, így letölthető és futtatható a saját hardveren határozatlan ideig, offline, felhasználói fiók nélkül. A Hugging Face-en az alábbi szervezet alatt van publikálva deepseek-ai.
Képzés és származás
A képzés futás körülbelül 3.3 × 10²⁴ FLOP, hardveren rögzítve NVIDIA H800 SXM5. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A tanító készlet kb. futott 14,800,000,000,000 szöveg tokenjei
Egy különös okból nyomon követik az alapul szolgáló adatbázisban: training cost.
Lépésről lépésre
Hogyan válasszunk GPU-t a DeepSeek-V3 (Mar 2025)
A fenti táblázat már értékelte az összes kártyát, amelynek specifikációi elérhetők ennek a modellen. A válaszod megszerzése hat lépést igényel..
-
01
Nézd meg, mire van szüksége, mielőtt bármi mást tennél.
A táblázat felsorolja az összes kártyát, amely képes tartani DeepSeek-V3 (Mar 2025). A kapacitás a kapu — egy kártya vagy tartalmazza, vagy nem.
-
02
Döntsön arról, hogy mennyi ideig tartanak a beszélgetései.
Állítsa be a kontextust arra, amit valójában használni fog. A cache a beszélgetéssel nő, és ez a szokásos oka annak, hogy egy kártya, amelynek korábban rendben kellett volna lennie, egyszer csak nem fér el. DeepSeek-V3 (Mar 2025).
-
03
Válaszd ki, milyen messzire fogod tömöríteni.
Minden KÁRTYA a legkevésbé tömörített másolatot futtatja, amelyet el tud tartani.. A minimális minőség beállítása eldobja azokat a kártyákat, amelyek csak úgy tudják kezelni, hogy tovább szorítanak, mint amit szeretnél, és egy szinten tartja az összehasonlítást.
-
04
Hasonlítsd össze a TOKENS PER SECOND-t, ne a SPECIFICATIONS-t.
Rendezze sebesség szerint, hogy lássa, hogyan rangsorolnak a kártyák. DeepSeek-V3 (Mar 2025). Nem fog illeszkedni egy gaming rendeléshez, mert a generálás a memória sávszélesség által kötött.
-
05
Ellenőrizd a megfelelő ítéletet vásárlás előtt.
Egy szűk elhelyezés fut, de nem hagy semmit egy hosszabb beszélgetésre, az esetében DeepSeek-V3 (Mar 2025). A Kényelmes azt jelenti, hogy később bővítheted a contextet. Ez a különbség fontosabb, mint néhány token másodpercenként, így kényelmeset vásárolj, ha ezt várod.
-
06
Nyisd meg a kiválasztott kártyát.
Egy KÁRTYA végigkövetése a saját oldaláig megmutatja az összes többi modellt, amelyet el tud tartani, ami az a kérdés, ami felmerül, miután döntöttél. DeepSeek-V3 (Mar 2025).
Válaszok
DeepSeek-V3 (Mar 2025) — gyakori kérdések
DeepSeek-V3 (Mar 2025)— Hol tudom letölteni?
Súlyait a Hugging Face-en tette közzé, a szervezet alatt deepseek-ai. Nem tárolunk modell fájlokat — ez az oldal kiszámolja, hogy milyen hardver szükséges a futtatásukhoz.
DeepSeek-V3 (Mar 2025)— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 3.3 × 10²⁴ FLOP, hardveren rögzítve NVIDIA H800 SXM5. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
DeepSeek-V3 (Mar 2025)— Futtathatom, ha nem fér el a GPU-mban?
Csak a terhelés áthelyezésével, amely általában téves gazdaságosság: a rendszermemóriában tárolt rész az egészet visszahúzza. A legközelebbi hiba, amit számítunk, alulmúlja 147.5 GB Minden ábra azt feltételezi, hogy az egész model a kártyán tartózkodik.
DeepSeek-V3 (Mar 2025)— Futtatna-e két GPU gyorsabban?
A kapacitás kártyánként összeadódik; a teljesítmény nem. A kártyák számának már saját magukban tartva: 0. Tehát egy második KÁRTYA ritkán a megoldás itt.
DeepSeek-V3 (Mar 2025)— miért különbözik a kvantálás a kártyák között?
Minden kártya a lehető legkevésbé tömörített másolatát futtatva jelenik meg, amit képes tárolni. A kártyákon elférő különböző tömörítési szintek száma: 1. A nagyobb kártyák a pontosabb verziót kapják, és a minőségi küszöb felett a összehasonlítást egy szinten rögzíti.
DeepSeek-V3 (Mar 2025)— Mennyire pontosak ezek a sebességbecslések?
Minden szám a memória sávszélességből és a modell méretéből származik, nem benchmarkolták, ezért mindet tartományként tették közzé, nem pedig egyetlen számként. Egy például: a távolság minden egyes szám alatt. Ugyanaz a modell és kártya harminc és ötven százalék között változik a következtetési szoftvertől és annak verziójától függően.
DeepSeek-V3 (Mar 2025)— Nyílt forráskódú?
Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.
DeepSeek-V3 (Mar 2025)— Hány paramétere van?
Paraméterszáma 671B. Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
DeepSeek-V3 (Mar 2025)— Ki készítette ezt?
Kiadta DeepSeek, alapján China, egy szervezet, amelyet kategorizáltak mint industry.
DeepSeek-V3 (Mar 2025)— Mikor adták ki?
Kibocsátották a March 2025.
DeepSeek-V3 (Mar 2025)— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Code generation, Quantitative reasoning, Question answering. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..