MiniMax-Text-01 TPS-Rechner

Jede Karte wird mit der am wenigsten komprimierten Kopie angezeigt, die sie halten kann. Die Anzahl der verschiedenen Komprimierungsstufen über die Karten, die sie passen: 2. Größere Karten erhalten die genauere Version, und die Qualitätsuntergrenze verankert den Vergleich auf einem Niveau.

Sie werden aus Spezifikationen berechnet, anstatt gemessen zu werden, und jede hat einen Bereich. Ein Beispiel: 11–29 tok/s auf B300. Das gleiche Modell und die Karte variieren je nach Inferenzsoftware und deren Version um dreißig bis fünfzig Prozent.

Die kleinste Karte in unserem Katalog, die es hält, ist Radeon Instinct MI325X, mit einer MEMORY-KAPAZITÄT von 256 GB. Es führt das Modell mit einer Kompression von Q3_K_M verwenden von etwa 223.5 GB, und produziert ungefähr 11.7 Token pro Sekunde. Die Anzahl der Karten, die es insgesamt ausführen können: 4.

Es hängt von der Karte ab. Das Schnellste, das wir berechnen, ist B300, ungefähr 18.3 Tokens pro Sekunde; die langsamste, die es immer noch ausführt, schafft erheblich weniger. Die Lesegeschwindigkeit liegt bei etwa zehn Tokens pro Sekunde, und die Anzahl der Karten, die das bewältigen: 4.

Es benötigt etwa 223.5 GB bei einer Kompression von Q3_K_M, welche das ist, was die kleinste Karte, die es ausführt, verwendet. Weniger Kompression braucht mehr: die Zahlen in der Spalte für den Speicher oben werden für jede Karte neu berechnet, da jede die am wenigsten komprimierte Version, die sie kann, speichert.

Die Gewichte sind veröffentlicht, sodass sie heruntergeladen und auf Ihrer eigenen Hardware ausgeführt werden können. Beachten Sie, dass OPEN WEIGHTS nicht dasselbe wie OPEN SOURCE im vollen Sinne ist — es sagt nichts über die Trainingsdaten, den Trainingscode oder die damit verbundenen kommerziellen Bedingungen aus.

Es hat eine Parameteranzahl von 456B. Total Parameters: 456B Activated Parameters per Token: 45.9B Number Layers: 80 Hybrid Attention: a softmax attention is positioned after every 7 lightning attention. Number of attention heads: 64 Attention head dimension: 128 Mixture of Experts: Number of experts: 32 Expert hidden dimension: 9216 Top-2 routing strategy Positional Encoding: Rotary Position Embedding (RoPE) applied to half of the attention head dimension with a base frequency of 10,000,000 Hidden Size: 6144 Vocab Size: 200,064. Diese Zahl ist die Gesamtsumme, und sie bestimmt, wie viel MEMORY das MODEL benötigt – ungefähr ein halbes Gigabyte pro Milliarde bei der Kompression, die die meisten Menschen verwenden.

Es wurde veröffentlicht von MiniMax, basiert auf China, eine als kategorisierte Organisation industry.

Es wurde veröffentlicht in January 2025.

Es funktioniert im Bereich von Language, und wird als Bewältigung der Aufgabe von language modeling/generation, Question answering. Dies sind die Bereiche, um die es entworfen wurde; sie beschreiben die Absicht und nicht eine harte Grenze.

Seine Gewichte sind auf Hugging Face veröffentlicht, unter der Organisation MiniMaxAI. Wir hosten keine Modell-Dateien — diese Seite berechnet, welche Hardware benötigt wird, um sie auszuführen.

Training verbrauchte etwa 3.1 × 10²⁴ FLOP, auf Hardware erfasst als NVIDIA H800 SXM5. Das misst, was die Produktion des Modells gekostet hat, und sagt nichts darüber aus, wie schnell es einmal trainiert antwortet — die Inferenzgeschwindigkeit kommt von der MEMORY-BANDWIDTH, nicht vom TRAINING-BUDGET.

Teilweise. Schichten, die nicht passen, verbleiben im System-Speicher und laufen mit einem Bruchteil der Geschwindigkeit, sodass ein überwiegend ausgelagerter Modell selten von Nutzen ist. Die nächste verpasste Berechnung bleibt hinter 103.8 GB Jede Zahl hier geht davon aus, dass das gesamte Modell auf der Karte vorhanden ist.

Die Kapazität addiert sich über Karten; der Durchsatz nicht. Die Anzahl der Karten, die es bereits eigenständig halten: 4. So eine zweite Karte ist hier selten die Antwort.