MiniMax-Text-01 TPS kalkulátor

Minden kártya a lehető legkevésbé tömörített másolatát futtatva jelenik meg, amit képes tárolni. A kártyákon elférő különböző tömörítési szintek száma: 2. A nagyobb kártyák a pontosabb verziót kapják, és a minőségi küszöb felett a összehasonlítást egy szinten rögzíti.

A specifikációkból számítják ki őket, nem pedig mérik, és mindegyiknek van egy tartománya. Egy példa: 11–29 tok/s a fájlban B300. Ugyanaz a modell és kártya harminc és ötven százalék között változik a következtetési szoftvertől és annak verziójától függően.

A katalógusunk legkisebb kártyája, ami ezt tartja, az Radeon Instinct MI325X, memória kapacitással rendelkezik 256 GB. A modell egy tömörítéssel fut. Q3_K_M használva körülbelül 223.5 GB, és körülbelül 11.7 másodpercenkénti tokenek. A kártyák összes száma, amelyek képesek futtatni. 4.

A kártyától függ. A leggyorsabb, amit számolunk, az B300, körülbelül 18.3 tokenek másodpercenként; a leglassabb, ami még fut, jelentősen kevesebbet képes kezelni. Az olvasási sebesség körülbelül tíz token másodpercenként, és a kártyák száma, amelyek ezt meg tudják tisztítani: 4.

Kb. 223.5 GB tömörítési arányban Q3_K_M, melyik az a legkisebb KÁRTYA, amelyik futtatni tudja. Kevesebb tömörítés több szükséges: a fentebbi memória oszlop számai minden KÁRTYÁRA újraszámításra kerülnek, mert mindegyik tartalmazza a legkevésbé tömörített verziót, amit csak tud.

Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.

Paraméterszáma 456B. Total Parameters: 456B Activated Parameters per Token: 45.9B Number Layers: 80 Hybrid Attention: a softmax attention is positioned after every 7 lightning attention. Number of attention heads: 64 Attention head dimension: 128 Mixture of Experts: Number of experts: 32 Expert hidden dimension: 9216 Top-2 routing strategy Positional Encoding: Rotary Position Embedding (RoPE) applied to half of the attention head dimension with a base frequency of 10,000,000 Hidden Size: 6144 Vocab Size: 200,064. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.

Kiadta MiniMax, alapján China, egy szervezet, amelyet kategorizáltak mint industry.

Kibocsátották a January 2025.

Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Question answering. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.

Súlyait a Hugging Face-en tette közzé, a szervezet alatt MiniMaxAI. Nem tárolunk modell fájlokat — ez az oldal kiszámolja, hogy milyen hardver szükséges a futtatásukhoz.

A képzés körülbelül elfogyasztott 3.1 × 10²⁴ FLOP, hardveren rögzítve NVIDIA H800 SXM5. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.

Részben. Azok a rétegek, amelyek nem férnek el a GPU VRAM-ban, a rendszer memóriájában ülnek és a sebesség egy töredékén futnak, így egy túlnyomórészt áthelyezett AI model használata ritkán éri meg. A legközelebbi hiba, amit számítunk, alulmúlja 103.8 GB Minden ábra azt feltételezi, hogy az egész model a kártyán tartózkodik.

A kapacitás kártyánként összeadódik; a teljesítmény nem. A kártyák számának már saját magukban tartva: 4. Tehát egy második KÁRTYA ritkán a megoldás itt.