Kimi K2 TPS kalkulátor
Minden kártyát az alábbiak szerint értékelünk e modell alapján a választott kontextus hossza és minimális minőség szerint. A sebesség egy becslés egyetlen kérésre, amelyet a kártya memória sávszélessége és a modell mérete alapján számítunk ki, miután tömörítettük..
Kiszámítva ehhez a MODElhez
818 kártyák, amelyek specifikációs adataink vannak
Melyik GPU képes futtatni Kimi K2?
Állítsa be a bemeneteket, olvassa el a választ
Egy hosszabb beszélgetés több memóriaigényt támaszt, ami kiszoríthatja ezt a modellt a kisebb kártyákról..
Elrejti azokat a GPU-kártyákat, amelyek csak a modellbe illeszkednének a compressziójuk ezen pont alá..
0 kártyák illeszkednek
Számítás| Szükséges | Kvantisálás | Illeszkedik | |||||
|---|---|---|---|---|---|---|---|
|
A katalógusunkban nincs olyan GPU, amely képes lenne futtatni ezt a modellt ezekkel a beállításokkal.. |
|||||||
A sebességek egyetlen kérésre - egy beszélgetés egy időben - vonatkozó becslések, amelyeket a MEMORY BANDWIDTH, a MODEL SIZE és a QUANTISATION alapján számítanak ki. A valós áteresztőképesség változik az INFERENCE RUNTIME és annak verziója szerint. A HARDWARE VENDORS által közzétett számok sok párhuzamos kérést mérnek, és sokkal magasabbak..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Moonshot
- Szervezet típusa
- Industry
- Ország
- China
- Közölt
- 11 July 2025
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling/generation, Code generation, Question answering, Quantitative reasoning, Search, Table tasks
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 1T
- Képzési adatok
- 15,500,000,000,000 tokens
- Tételméret
- 67,000,000
MoE with 1T total parameters and 32B parameters active per forward pass
"Kimi K2 was pre-trained on 15.5T tokens"
"global batch size was held at 67M token"
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 3 × 10²⁴ FLOP
- Hogyan jött létre
- Operation counting
6 FLOP / parameter / token * 32 * 10^9 activated parameters * 15.5 * 10^12 tokens = 2.976e+24 FLOP
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA H800 SXM5
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Open — downloadable
- Modell hozzáférés
- Open weights (restricted use)
- Képzés kód
- Unreleased
- Hugging Face
- moonshotai
Modified MIT license (separare license is required for entities with 100M+ MAU or $20M+ in annual revenue) for weights and inference code: https://huggingface.co/moonshotai/Kimi-K2-Instruct https://github.com/MoonshotAI/Kimi-K2?tab=readme-ov-file#4-deployment API: https://platform.moonshot.cn/docs/pricing/chat#%E8%AE%A1%E8%B4%B9%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B5
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Miért követik nyomon
- Training cost
- Nyilvántartási bizalom
- Confident
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Kimi K2: Open Agentic Intelligence
- Utoljára frissítve
- 18 December 2025
Mit jelentenek a számok
Mi szükséges ehhez a modellhez való futtatáshoz
Kimi K2 eléri a paraméterek számát 1T. Ez túl van azon, amit bármelyik egyedi GPU kártya kezelni tud. A futtatása azt jelenti, hogy vagy több kártyára osztja, vagy olyan hardvert bérel, amelyet erre a feladatra terveztek, és minden olyan kártya, amely egyedül képes kezelni, egy adatközponti alkatrész. Az a szám, amely képes rá: 0.
Háttér
Kimi K2 ki lett adva által Moonshot, az országban rögzítve mint China, alatt July 2025. A kiadó kategóriája alá tartozik industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling/generation, Code generation, Question answering, Quantitative reasoning, Search, Table tasks.
A közzétett súlyok azt jelentik, hogy a modell a te gépeden fut, nem pedig valaki másén, ami lehetővé teszi az alábbi hardverkérdés megválaszolását. A Hugging Face-en az alábbi szervezet alatt van publikálva moonshotai.
Mi került a felépítésébe
A betanításhoz körülbelül egy számítási költségvetés kellett 3 × 10²⁴ FLOP, hardveren rögzítve NVIDIA H800 SXM5. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A képzés körülbelül egy korpuszt fogyasztott 15,500,000,000,000 szöveg tokenjei
Az oka, hogy egyáltalán megjelenik ebben a katalógusban: training cost.
Lépésről lépésre
Hogyan válasszunk GPU-t a Kimi K2
A fenti táblázat már értékelte az összes kártyát, amelynek specifikációi elérhetők ennek a modellen. A válaszod megszerzése hat lépést igényel..
-
01
Nézd meg, mire van szüksége, mielőtt bármi mást tennél.
A táblázat felsorolja az összes kártyát, amely képes tartani Kimi K2. Semennyi feldolgozási teljesítmény nem kompenzálja azt a kártyát, amelyik nem tudja megtartani.
-
02
Állítsa be a használt CONTEXT LENGTH-et.
A hosszabb beszélgetések memóriaigénye van a súlyok szükségletén kívül. Húzd el a csúszkát a valódi munkahosszodra, mielőtt bármelyik sort megbízhatónak tartanád. Kimi K2.
-
03
Állítsa be a minőségi minimumot
A kvantálási oszlop kártyánként változik, mert egy nagyobb kártya pontosabb másolatot tartalmaz.. A minimális minőség beállítása eldobja azokat a kártyákat, amelyek csak úgy tudják kezelni, hogy tovább szorítanak, mint amit szeretnél, és egy szinten tartja az összehasonlítást.
-
04
Rendezés sebesség szerint
Rendezze sebesség szerint, hogy lássa, hogyan rangsorolnak a kártyák. Kimi K2. Nem fog illeszkedni egy gaming rendeléshez, mert a generálás a memória sávszélesség által kötött.
-
05
Olvasd el az illeszkedés oszlopot utoljára.
Egy szűk elhelyezés fut, de nem hagy semmit egy hosszabb beszélgetésre, az esetében Kimi K2. A Kényelmes azt jelenti, hogy később bővítheted a contextet. Ez a különbség fontosabb, mint néhány token másodpercenként, így kényelmeset vásárolj, ha ezt várod.
-
06
Nézd meg a kártyát a másik oldalról.
Minden kártyaoldal megismétli ezt a vizsgálatot minden modellre, amelyet birtoklunk, válaszolva arra, hogy mi másra jó a hardver, azon kívül, hogy Kimi K2.
Válaszok
Kimi K2 — gyakori kérdések
Kimi K2— Mennyire pontosak ezek a sebességbecslések?
Minden szám a memória sávszélességből és a modell méretéből származik, nem benchmarkolták, ezért mindet tartományként tették közzé, nem pedig egyetlen számként. Egy például: a távolság minden egyes szám alatt. Ugyanaz a modell és kártya harminc és ötven százalék között változik a következtetési szoftvertől és annak verziójától függően.
Kimi K2— Nyílt forráskódú?
Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.
Kimi K2— Hány paramétere van?
Paraméterszáma 1T. MoE with 1T total parameters and 32B parameters active per forward pass. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
Kimi K2— Ki készítette ezt?
Kiadta Moonshot, alapján China, egy szervezet, amelyet kategorizáltak mint industry.
Kimi K2— Mikor adták ki?
Kibocsátották a July 2025.
Kimi K2— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Code generation, Question answering, Quantitative reasoning, Search, Table tasks. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
Kimi K2— Hol tudom letölteni?
Súlyait a Hugging Face-en tette közzé, a szervezet alatt moonshotai. Nem tárolunk modell fájlokat — ez az oldal kiszámolja, hogy milyen hardver szükséges a futtatásukhoz.
Kimi K2— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 3 × 10²⁴ FLOP, hardveren rögzítve NVIDIA H800 SXM5. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
Kimi K2— Futtathatom, ha nem fér el a GPU-mban?
Részben. Azok a rétegek, amelyek nem férnek el a GPU VRAM-ban, a rendszer memóriájában ülnek és a sebesség egy töredékén futnak, így egy túlnyomórészt áthelyezett AI model használata ritkán éri meg. A legközelebbi hiba, amit számítunk, alulmúlja 274.0 GB Minden ábra azt feltételezi, hogy az egész model a kártyán tartózkodik.
Kimi K2— Futtatna-e két GPU gyorsabban?
A kapacitás kártyánként összeadódik; a teljesítmény nem. A kártyák számának már saját magukban tartva: 0. Tehát egy második KÁRTYA ritkán a megoldás itt.
Kimi K2— miért különbözik a kvantálás a kártyák között?
Minden kártya a lehető legkevésbé tömörített másolatát futtatva jelenik meg, amit képes tárolni. A kártyákon elférő különböző tömörítési szintek száma: 1. A nagyobb kártyák a pontosabb verziót kapják, és a minőségi küszöb felett a összehasonlítást egy szinten rögzíti.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..