MoE-1.1T TPS-calculator
Elke kaart hieronder wordt beoordeeld op basis van dit model bij de contextlengte en minimumkwaliteit die je kiest. Snelheid is een schatting voor een enkele aanvraag, berekend op basis van de geheugendoorvoer van de kaart en de grootte van het model eenmaal gecomprimeerd..
Berekend voor dit model
Welke GPU's kunnen draaien MoE-1.1T?
Stel de invoer in, lees het antwoord
Een langere conversatie heeft meer geheugen nodig, wat dit model van kleinere kaarten kan duwen..
Verbergt kaarten die alleen in het model zouden passen door deze onder dit punt te comprimeren..
0 kaarten passen
Berekenen| Behoeften | Kwantisatie | Pas | |||||
|---|---|---|---|---|---|---|---|
|
Geen kaart in onze catalogus kan dit model met deze instellingen draaien.. |
|||||||
Snelheden zijn schattingen voor een enkele aanvraag - één gesprek tegelijk - berekend uit geheugenbandbreedte, modelgrootte en kwantisatie. De werkelijke doorvoer varieert met de inferentietijd en de versie. Cijfers gepubliceerd door hardwareleveranciers meten veel gelijktijdige aanvragen en zijn veel hoger..
Opname
Volledige specificatie
Alles op record voor dit model. Het meeste beschrijft hoe het is getraind in plaats van hoe het draait — nuttige context om te beoordelen hoeveel werk erin is gestoken en hoe het zich verhoudt tot modellen die op een andere schaal zijn gebouwd..
Origine
Wie heeft dit model gebouwd, waar, en wanneer het is gepubliceerd.
- Organisatie
- Meta AI
- Organisatietype
- Industry
- Land
- United States of America
- Gepubliceerd
- 20 December 2021
- Vertalers
- Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Mona Diab, Zornitsa Kozareva, Ves Stoyanov
Wat het doet
De probleemgebieden waarvoor het model is gebouwd. Een model kan er verschillende van elk dragen.
- Domein
- Language
- Model/modelen kunnen niet passen in de GPU VRAM. Tight = bijna uitvoerbaar, comfortabel = draait eenvoudig met ruimte. Wat AI-model kan de GPU draaien?
- Language modeling/generation, Question answering
Grootte
Hoe groot het model is en hoeveel data erop is getraind. Parameters zijn de cijfers die bepalen of het past op een bepaalde grafische kaart.
- Parameters
- 1.1T
- Training gegevens
- 112,000,000,000 tokens
- Epochs
- 2.68
112B tokens, or 84B words at 0.75 English words/token. "We pretrain our models on a union of six Englishlanguage datasets, including the five datasets used to pretrain RoBERTa (Liu et al., 2019) and the English subset of CC100, totalling 112B tokens"
Trainingsberekeningen
De rekensom die is uitgevoerd om het model te trainen, gemeten in drijvende-komma-bewerkingen. Het is een maat voor de kosten van de trainingsrun, niet voor hoe snel het voltooide model je antwoorden geeft.
- Trainingsberekeningen
- 2.2 × 10²² FLOP
- Hoe het is vastgesteld
- Reported
Reported directly in paper. Authors calculate FLOPs analytically in appendix G
De trainingsrun
Wat het fysiek kostte om te trainen: welke chips, hoeveel, hoe lang, en wat dat van het net trok.
- Trainingshardware
- NVIDIA A100
Beschikbaarheid
Of u het model kunt verkrijgen en het op uw eigen hardware kunt draaien, wat bepaalt of een van de specificaties van de GPU op deze pagina van toepassing is.
- Gewichten
- Open — downloadable
- Model toegang
- Open weights (non-commercial)
- Training code
- Unreleased
for research use only https://github.com/facebookresearch/fairseq/tree/main/examples/moe_lm I don't see training code
Hoe het is geclassificeerd
Labels die op de bron-dataset van toepassing zijn bij het volgen van opvallende modellen, en hoe zeker het is van de invoer.
- Model/modellen past niet / past niet.
- Confident
- Model/modellen passen niet / zal niet passen. Te krap / comfortabel. GPU kan het AI-model draaien.
- 241
Bronnen
Waar deze registratie vandaan komt en wanneer deze voor het laatst is gecontroleerd.
- Referentie
- Efficient Large Scale Language Modeling with Mixtures of Experts
- Laatste update
- 25 May 2026
Wat de getallen betekenen
Hardwarevereisten in de praktijk
At 1.1T parameters, MoE-1.1T is beyond what any single graphics card holds. Running it means either splitting it across several cards or renting hardware built for the job — 0 of the cards we track can hold it on their own, and all of them are datacentre parts.
Waar het vandaan komt
MoE-1.1T was published by Meta AI, in United States of America, in December 2021. industry is the category the publisher falls under.
Het werkt in het Nederlands en wordt vastgelegd als het genereren van taalmodellen/ -generatie, vraagbeantwoording.
The weights are published, so it can be downloaded and run on your own hardware indefinitely, offline, with no account attached.
Wat erin is gegaan om het te bouwen
The training run consumed about 2.2 × 10²² FLOP, on NVIDIA A100. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
It was trained on about 112,000,000,000 tokens of text.
Stap voor stap
Hoe een GPU te kiezen voor MoE-1.1T
De bovenstaande tabel heeft elke kaart die we hebben beoordeeld met specificaties tegen dit model. Naar je antwoord komen kost zes stappen..
-
01
van het geheugen kolom
Every card here has been checked against MoE-1.1T. Capacity is the gate — a card either holds it or it does not.
-
02
Bepaal hoe lang uw gesprekken duren
Longer conversations cost memory on top of what the weights need. Move the slider to your real working length before trusting any row for MoE-1.1T.
-
03
Kies hoe ver u het wilt comprimeren
Each card runs the least-compressed copy it can hold. Setting a floor drops the cards that only manage MoE-1.1T by squeezing it further than you would want.
-
04
Vergelijk tokens per seconde, niet specificaties
Sort by speed to see how cards rank for MoE-1.1T. It will not match a gaming ordering — generation is bound by memory bandwidth.
-
05
Controleer het pas oordeel voordat je koopt
Tight means MoE-1.1T loads and works, with no room to raise the context later. Comfortable means you can. The difference matters more than a few tokens per second.
-
06
Controleer de kaart van de andere kant
Each card page repeats this sweep for every model we hold. It answers what else the hardware is good for, beyond MoE-1.1T.
Antwoorden
MoE-1.1T — Voor veelgebruikte vragen
Is MoE-1.1T open source?
Its weights are published, so MoE-1.1T can be downloaded and run on your own hardware. Note that open weights is not the same as open source in the full sense — it says nothing about the training data, the training code, or the commercial terms attached.
How many parameters does MoE-1.1T have?
MoE-1.1T has 1.1T parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created MoE-1.1T?
MoE-1.1T was published by Meta AI, based in United States of America, categorised as industry.
When was MoE-1.1T released?
MoE-1.1T was published in December 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is MoE-1.1T used for?
MoE-1.1T works in Language, and is recorded as handling language modeling/generation, Question answering. These are the areas it was designed around; they describe intent rather than a hard boundary.
Where can I download MoE-1.1T?
The weights for MoE-1.1T are published, though we do not hold a repository link for it. This site calculates hardware requirements rather than hosting model files.
How much compute was used to train MoE-1.1T?
Around 2.2 × 10²² FLOP, on NVIDIA A100. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
Can I run MoE-1.1T if it does not fit in my GPU?
It can be split between the card and system memory, but MoE-1.1T generates painfully slowly that way — the nearest miss we calculate is short by 407.0 GB. Nothing on this page assumes offloading.
Would two GPUs run MoE-1.1T faster?
Two cards buy memory rather than speed. That matters for MoE-1.1T only if one card cannot hold it — 0 can, so a second adds little.
Why does the quantisation differ between cards for MoE-1.1T?
Because capacity varies, so does how hard MoE-1.1T has to be squeezed — 1 distinct levels appear in the table above. Set a minimum quality to compare at one.
How accurate are these MoE-1.1T speed estimates?
Ze worden berekend op basis van specificaties in plaats van gemeten, en elke heeft een bereik — het bereik onder elk cijfer, bijvoorbeeld. Hetzelfde model en de kaart variëren met dertig tot vijftig procent, afhankelijk van de inference software en de versie.
Bron
Model/modelen kunnen niet passen in de GPU VRAM. Tight = nauwelijks uitvoerbaar, comfortabel = draait gemakkelijk met ruimte. Welke AI model kan de GPU draaien? 25 May 2026
De andere richting
Kijk je er van de andere kant naar?
Deze pagina begint bij het model. Als je al een kaart hebt en alles wilt weten wat het kan draaien., model/modellen draait/draaien past niet/past niet goed strak = nauwelijks uitvoerbaar, comfortabel = draait gemakkelijk met speling.