MiniMax-Text-01 calcolatore TPS

Ogni card è mostrata mentre esegue la copia meno compressa che può contenere. Il numero di livelli di compressione distinti tra le card che si adattano: 2. Schede più grandi ottengono la versione più accurata e il livello di qualità sopra fissa il confronto a un livello.

Vengono calcolati dalle specifiche piuttosto che misurati, e ognuno ha un intervallo. Un esempio: 11–29 tok/s su B300. Lo stesso modello e scheda variano tra il trenta e il cinquanta per cento a seconda del software di inferenza e della sua versione.

La scheda più piccola nel nostro catalogo che la contiene è Radeon Instinct MI325X, con una capacità di memoria di 256 GB. Esegui il modello a una compressione di Q3_K_M utilizzando circa 223.5 GB, e produce approssimativamente 11.7 token al secondo. Il numero di card in grado di eseguirlo in totale: 4.

Dipende dalla scheda. La più rapida che calcoliamo è B300, circa 18.3 token al secondo; il più lento che riesce a farlo gestisce considerevolmente meno. La velocità di lettura è di circa dieci token al secondo, e il numero di schede che riescono a farlo: 4.

Ha bisogno di 223.5 GB a una compressione di Q3_K_M, quale è la scheda più piccola che lo utilizza. Meno compressione richiede di più: le cifre nella colonna della memoria sopra sono ricalcolate per ogni scheda, perché ognuna contiene la versione meno compressa possibile.

I suoi pesi sono pubblicati, quindi può essere scaricato e eseguito sul proprio hardware. Si noti che OPEN WEIGHTS non è lo stesso di OPEN SOURCE nel senso completo — non dice nulla sui dati di addestramento, sul codice di addestramento o sui termini commerciali allegati.

Ha un numero di parametri di 456B. Total Parameters: 456B Activated Parameters per Token: 45.9B Number Layers: 80 Hybrid Attention: a softmax attention is positioned after every 7 lightning attention. Number of attention heads: 64 Attention head dimension: 128 Mixture of Experts: Number of experts: 32 Expert hidden dimension: 9216 Top-2 routing strategy Positional Encoding: Rotary Position Embedding (RoPE) applied to half of the attention head dimension with a base frequency of 10,000,000 Hidden Size: 6144 Vocab Size: 200,064. Quella cifra è il totale, ed è ciò che decide quanto memoria il modello ha bisogno — circa mezzo gigabyte per miliardo alla compressione che la maggior parte delle persone usa.

È stato pubblicato da MiniMax, basato su China, un'organizzazione categorizzata come industry.

È stato pubblicato in January 2025.

Funziona nel dominio di Language, e viene registrato come gestire il compito di language modeling/generation, Question answering. Queste sono le aree su cui è stato progettato; descrivono l'intento piuttosto che un confine rigido.

I suoi pesi sono pubblicati su Hugging Face, sotto l'organizzazione MiniMaxAI. Non ospitiamo file di modelli — questo sito calcola quale hardware è necessario per eseguirli.

L'addestramento ha consumato circa 3.1 × 10²⁴ FLOP, su hardware registrato come NVIDIA H800 SXM5. Questo misura quanto costa produrre il modello e non dice nulla su quanto rapidamente risponde una volta addestrato — la velocità di inferenza deriva dalla larghezza di banda della memoria, non dal budget di addestramento.

Parzialmente. I layer che non si adattano si trovano nella memoria di sistema e funzionano a una frazione della velocità, quindi un modello in gran parte scaricato è raramente conveniente da usare. La più vicina mancata che calcoliamo risulta insufficiente di 103.8 GB Ogni figura qui presume che l'intero modello sia residente sulla scheda.

La capacità si somma tra le schede; il throughput no. Il numero di schede che già la possiedono da sole: 4. Quindi una seconda CARD è raramente la risposta qui.