Motif-3 TPS-rekenmachine

Het heeft ongeveer 154.1 GB bij een compressie van Q3_K_M, welke is wat de kleinste card die het draait gebruikt. Minder compressie heeft meer nodig: de cijfers in de memory-kolom hierboven worden opnieuw berekend voor elke card, omdat elke card de minst gecomprimeerde versie kan vasthouden.

De gewichten zijn gepubliceerd, zodat ze kunnen worden gedownload en op je eigen hardware kunnen worden uitgevoerd. Houd er rekening mee dat OPEN WEIGHTS niet hetzelfde is als open source in de volle zin — het zegt niets over de trainingsdata, de trainingscode of de commerciële voorwaarden die eraan zijn verbonden.

Het heeft een parameter telling van 314B. Fine-grained sparse MoE: approximately 314B total parameters, ~13.2B activated per token. 53 Transformer layers (2 dense + 51 MoE); each MoE layer has 384 routed experts + 1 shared expert, with top-8 routing. Grouped Differential Latent Attention (GDLA), modified manifold-constrained hyper-connections, Expert-Specific PolyNorm, and a 1-layer MTP head. Trained from scratch. Dat cijfer is het totaal, en het bepaalt hoeveel MEMORY het MODEL nodig heeft - ongeveer een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.

Het werd gepubliceerd door Motif Technologies, gebaseerd op Korea (Republic of), een organisatie geclassificeerd als industry.

Het werd gepubliceerd in August 2026.

Het werkt in het domein van Language, en wordt geregistreerd als het afhandelen van language modeling/generation, Chat, Question answering, Code generation, Mathematical reasoning, Instruction interpretation. Modellen hebben vaak meer dan één van elk, en de tags beschrijven het doel in plaats van de capaciteitslimieten.

Zijn gewichten zijn gepubliceerd op Hugging Face, onder de organisatie Motif-Technologies. Wij hosten geen modelbestanden - deze site berekent welke hardware nodig is om ze te draaien.

Training verbruikte ongeveer 1.1 × 10²⁴ FLOP, op hardware vastgelegd als NVIDIA B200. Dat meet wat het kosten om het model te produceren en zegt niets over hoe snel het antwoord geeft zodra het getraind is — inferentie snelheid komt van geheugenbandbreedte, niet van het trainingsbudget.

Gedeeltelijk. Layers die niet passen, bevinden zich in system memory en draaien met een fractie van de snelheid, dus een grotendeels gedeactiveerd model is zelden de moeite waard om te gebruiken. De dichtstbijzijnde miscalculatie die we berekenen, komt tekort met 63.8 GB Elke figuur hier gaat ervan uit dat het hele model op de kaart staat.

Een tweede kaart verdubbelt ruwweg het beschikbare geheugen, maar niet de generatie snelheid. Het aantal dat al in staat is om het alleen te draaien: 7. Dus een tweede card is zelden het antwoord hier.

Een grotere CARD houdt een nauwkeuriger kopie. Het aantal compressieniveaus dat gebruikt wordt op de CARDS die het draaien: 3. Grotere CARDS krijgen de meer nauwkeurige versie, en de kwaliteitsvloer boven pins beperkt de vergelijking tot één niveau.

Elke waarde is afgeleid van het geheugenbandbreedte en de modelgrootte, niet geverifieerd, wat de reden is dat elke waarde als een bereik in plaats van een enkel getal wordt gepubliceerd. Eén voorbeeld: 17–47 tok/s op B200. Hetzelfde model en kaart variëren met dertig tot vijftig procent, afhankelijk van de inferentiesoftware en de versie ervan.

De kleinste kaart in onze catalogus die het vasthoudt is B200, met een geheugen capaciteit van 180 GB. Het draait het model op een compressie van Q3_K_M ongeveer 154.1 GB, en produceert ongeveer 29.1 tokens per second. Het aantal kaarten dat het totaal kan draaien: 7.

Het hangt af van de kaart. De snelste die we berekenen is B200, ongeveer 29.1 tokens per seconde; de langzaamste die het nog steeds draait haalt aanzienlijk minder. De leessnelheid is rond de tien tokens per seconde, en het aantal kaarten dat dat haalt: 7.