Motif-3 TPS kalkulátor

Kb. 154.1 GB tömörítési arányban Q3_K_M, melyik az a legkisebb KÁRTYA, amelyik futtatni tudja. Kevesebb tömörítés több szükséges: a fentebbi memória oszlop számai minden KÁRTYÁRA újraszámításra kerülnek, mert mindegyik tartalmazza a legkevésbé tömörített verziót, amit csak tud.

Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.

Paraméterszáma 314B. Fine-grained sparse MoE: approximately 314B total parameters, ~13.2B activated per token. 53 Transformer layers (2 dense + 51 MoE); each MoE layer has 384 routed experts + 1 shared expert, with top-8 routing. Grouped Differential Latent Attention (GDLA), modified manifold-constrained hyper-connections, Expert-Specific PolyNorm, and a 1-layer MTP head. Trained from scratch. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.

Kiadta Motif Technologies, alapján Korea (Republic of), egy szervezet, amelyet kategorizáltak mint industry.

Kibocsátották a August 2026.

Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Chat, Question answering, Code generation, Mathematical reasoning, Instruction interpretation. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.

Súlyait a Hugging Face-en tette közzé, a szervezet alatt Motif-Technologies. Nem tárolunk modell fájlokat — ez az oldal kiszámolja, hogy milyen hardver szükséges a futtatásukhoz.

A képzés körülbelül elfogyasztott 1.1 × 10²⁴ FLOP, hardveren rögzítve NVIDIA B200. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.

Részben. Azok a rétegek, amelyek nem férnek el a GPU VRAM-ban, a rendszer memóriájában ülnek és a sebesség egy töredékén futnak, így egy túlnyomórészt áthelyezett AI model használata ritkán éri meg. A legközelebbi hiba, amit számítunk, alulmúlja 63.8 GB Minden ábra azt feltételezi, hogy az egész model a kártyán tartózkodik.

Egy második Kártya körülbelül megduplázza a rendelkezésre álló MEMÓRIÁT, de nem a generálási sebességet. A szám, amely már képes egyedül futtatni: 7. Tehát egy második KÁRTYA ritkán a megoldás itt.

Egy nagyobb KÁRTYA pontosabb másolatot tárol. Azoknak a tömörítési szinteknek a száma, amelyeket a futó KÁRTYÁK használnak: 3. A nagyobb kártyák a pontosabb verziót kapják, és a minőségi küszöb felett a összehasonlítást egy szinten rögzíti.

Minden szám a memória sávszélességből és a modell méretéből származik, nem benchmarkolták, ezért mindet tartományként tették közzé, nem pedig egyetlen számként. Egy például: 17–47 tok/s a fájlban B200. Ugyanaz a modell és kártya harminc és ötven százalék között változik a következtetési szoftvertől és annak verziójától függően.

A katalógusunk legkisebb kártyája, ami ezt tartja, az B200, memória kapacitással rendelkezik 180 GB. A modell egy tömörítéssel fut. Q3_K_M használva körülbelül 154.1 GB, és körülbelül 29.1 másodpercenkénti tokenek. A kártyák összes száma, amelyek képesek futtatni. 7.

A kártyától függ. A leggyorsabb, amit számolunk, az B200, körülbelül 29.1 tokenek másodpercenként; a leglassabb, ami még fut, jelentősen kevesebbet képes kezelni. Az olvasási sebesség körülbelül tíz token másodpercenként, és a kártyák száma, amelyek ezt meg tudják tisztítani: 7.