MoE-1.1T calculateur TPS

Poids ouverts Meta AI 1.1T Paramètres December 2021

Chaque carte ci-dessous est évaluée par rapport à ce modèle en fonction de la longueur de contexte et de la qualité minimale que vous choisissez. La vitesse est une estimation pour une seule requête, calculée à partir de la bande passante mémoire de la carte et de la taille du modèle une fois compressé..

Calculé pour ce modèle

0 de 818 cartes qui peuvent l'exécuter

Quelles GPU peuvent exécuter MoE-1.1T?

Configurez les entrées, lisez la réponse.

Une conversation plus longue nécessite plus de mémoire, ce qui peut pousser ce modèle hors des cartes plus petites..

Cache les cartes qui ne conviendraient qu'au modèle en les comprimant en dessous de ce point..

0 les modèles ne s'adaptent pas

Calculating
Besoin Quantification Ajusté

Aucune carte de notre catalogue ne peut faire fonctionner ce modèle avec ces paramètres..

Les vitesses sont des estimations pour une seule demande — une conversation à la fois — calculées à partir de la bande passante mémoire, de la taille du modèle et de la quantification. Le débit réel varie en fonction du temps d'inférence et de sa version. Les chiffres publiés par les fournisseurs de matériel mesurent de nombreuses demandes simultanées et sont beaucoup plus élevés..

Sur l'enregistrement

Spécifications complètes

Tout est enregistré pour ce modèle. La plupart décrit comment il a été entraîné plutôt que comment il fonctionne — un contexte utile pour évaluer combien de travail a été investi et comment il se compare aux modèles construits à une échelle différente..

Qui a construit ce modèle, où et quand a-t-il été publié ?

Organisation
Meta AI
Type d'organisation
Industry
Pays
United States of America
Publié
20 December 2021
Auteurs
Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Mona Diab, Zornitsa Kozareva, Ves Stoyanov

Ce qu'il fait

Les zones problématiques pour lesquelles le modèle a été conçu. Un modèle peut contenir plusieurs de chaque.

Domaine
Language
Translation de tâche
Language modeling/generation, Question answering

Taille

Quelle est la taille du modèle et combien de données il a été formé ? Les paramètres sont la valeur qui détermine s'il s'adapte à une carte graphique donnée.

Paramètres
1.1T
Données d'entraînement
112,000,000,000 tokens

112B tokens, or 84B words at 0.75 English words/token. "We pretrain our models on a union of six Englishlanguage datasets, including the five datasets used to pretrain RoBERTa (Liu et al., 2019) and the English subset of CC100, totalling 112B tokens"

Époques
2.68

Calcul de formation

L'arithmétique effectuée pour entraîner le modèle, mesurée en opérations à virgule flottante. C'est une mesure du coût de la course d'entraînement, pas de la rapidité avec laquelle le modèle terminé vous répond.

Calcul de formation
2.2 × 10²² FLOP

Reported directly in paper. Authors calculate FLOPs analytically in appendix G

Comment cela a été établi
Reported

L'entraînement en cours

Ce qu'il a physiquement fallu pour entraîner : quels chips, combien, pendant combien de temps, et ce que cela a tiré du mur.

Matériel d'entraînement
NVIDIA A100

Disponibilité

Que vous puissiez obtenir le modèle et l'exécuter sur votre propre matériel, ce qui détermine si l'une des spécifications de la carte graphique sur cette page s'applique.

Poids
Open — downloadable
Accès au modèle
Open weights (non-commercial)
Code d'entraînement
Unreleased

for research use only https://github.com/facebookresearch/fairseq/tree/main/examples/moe_lm I don't see training code

Comment c'est classé

Étiquettes que le jeu de données source applique lors du suivi des modèles notables et à quel point il est confiant dans l'entrée.

Modèle/modèles ne correspond jamais à la mode. Exécuter / exécutant signifie exécuter un modèle d'IA. Si vous recevez seulement le mot exécuter, cela provient probablement d'une phrase fragmentée comme quel modèle d'IA le GPU peut exécuter. ne convient pas / ne conviendra pas signifie que le modèle d'IA ne s'intègre pas dans la VRAM du GPU. serré = à peine exécutable, confortable = s'exécute facilement avec de la marge. Les mots de connexion courts comme de, le, un, à, pour, avec apparaissent seuls car le texte est divisé - il faut simplement les traduire normalement. Conservez les termes techniques comme GPU, AI, TPS, VRAM, CUDA, Tensor, Inference, Quantization, LoRA, GGUF, FP16, INT4, INT8 en anglais (ou la forme courante dans cette langue). Toujours écrire GPU, AI, TPS, VRAM, CUDA en majuscules. Si l'on vous demande de traduire un nom de langue (par exemple espagnol, anglais, langue), traduisez le mot correctement (espagnol → Spanisch, anglais → Deutsch, langue → Sprache). SORTIE UNIQUEMENT la traduction pure en français. AUCUN commentaire, AUCUNE question, RIEN D'AUTRE. Si vide, répondez par un espace : Record confidence
Confident
Citations
241

Sources

Où cet enregistrement provient-il et quand a-t-il été vérifié pour la dernière fois.

Référence
Efficient Large Scale Language Modeling with Mixtures of Experts
Dernière mise à jour
25 May 2026

Que signifient les chiffres

Exigences matérielles en pratique

At 1.1T parameters, MoE-1.1T is beyond what any single graphics card holds. Running it means either splitting it across several cards or renting hardware built for the job — 0 of the cards we track can hold it on their own, and all of them are datacentre parts.

Où cela vient-il

MoE-1.1T was published by Meta AI, in United States of America, in December 2021. industry is the category the publisher falls under.

Ça fonctionne en français, et est enregistré comme faisant de la modélisation/génération de langage, réponse aux questions.

The weights are published, so it can be downloaded and run on your own hardware indefinitely, offline, with no account attached.

Ce qui a contribué à sa création

The training run consumed about 2.2 × 10²² FLOP, on NVIDIA A100. That figure describes the cost of creating it and has no bearing on how quickly it generates text.

It was trained on about 112,000,000,000 tokens of text.

Étape par étape

Comment choisir un GPU pour MoE-1.1T

Le tableau ci-dessus a déjà évalué chaque carte dont nous avons les spécifications par rapport à ce modèle. Obtenir votre réponse prend six étapes..

  1. 01

    À partir de la colonne mémoire

    Every card here has been checked against MoE-1.1T. Capacity is the gate — a card either holds it or it does not.

  2. 02

    Décidez de la durée de vos conversations

    Longer conversations cost memory on top of what the weights need. Move the slider to your real working length before trusting any row for MoE-1.1T.

  3. 03

    Choose how far you will compress it

    Each card runs the least-compressed copy it can hold. Setting a floor drops the cards that only manage MoE-1.1T by squeezing it further than you would want.

  4. 04

    Compare tokens per second, not specifications

    Sort by speed to see how cards rank for MoE-1.1T. It will not match a gaming ordering — generation is bound by memory bandwidth.

  5. 05

    Vérifiez le verdict de compatibilité avant d'acheter

    Tight means MoE-1.1T loads and works, with no room to raise the context later. Comfortable means you can. The difference matters more than a few tokens per second.

  6. 06

    Vérifiez la carte de l'autre côté

    Each card page repeats this sweep for every model we hold. It answers what else the hardware is good for, beyond MoE-1.1T.

Réponds

MoE-1.1T — Questions courantes

01

Is MoE-1.1T open source?

Its weights are published, so MoE-1.1T can be downloaded and run on your own hardware. Note that open weights is not the same as open source in the full sense — it says nothing about the training data, the training code, or the commercial terms attached.

02

How many parameters does MoE-1.1T have?

MoE-1.1T has 1.1T parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.

03

Who created MoE-1.1T?

MoE-1.1T was published by Meta AI, based in United States of America, categorised as industry.

04

When was MoE-1.1T released?

MoE-1.1T was published in December 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.

05

What is MoE-1.1T used for?

MoE-1.1T works in Language, and is recorded as handling language modeling/generation, Question answering. These are the areas it was designed around; they describe intent rather than a hard boundary.

06

Where can I download MoE-1.1T?

The weights for MoE-1.1T are published, though we do not hold a repository link for it. This site calculates hardware requirements rather than hosting model files.

07

How much compute was used to train MoE-1.1T?

Around 2.2 × 10²² FLOP, on NVIDIA A100. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.

08

Can I run MoE-1.1T if it does not fit in my GPU?

It can be split between the card and system memory, but MoE-1.1T generates painfully slowly that way — the nearest miss we calculate is short by 407.0 GB. Nothing on this page assumes offloading.

09

Would two GPUs run MoE-1.1T faster?

Two cards buy memory rather than speed. That matters for MoE-1.1T only if one card cannot hold it — 0 can, so a second adds little.

10

Why does the quantisation differ between cards for MoE-1.1T?

Because capacity varies, so does how hard MoE-1.1T has to be squeezed — 1 distinct levels appear in the table above. Set a minimum quality to compare at one.

11

How accurate are these MoE-1.1T speed estimates?

Ils sont calculés à partir des spécifications plutôt que mesurés, et chacun présente une plage — la plage sous chaque chiffre, par exemple. Le même modèle et la même carte varient de trente à cinquante pour cent selon le logiciel d'inférence et sa version.

Source

Publication originale

Modèle/modèles, exécuter/exécution, ne convient pas / ne sera pas compatible, serré = à peine exécuté, confortable = s'exécute facilement avec une marge. 25 May 2026

L'autre direction

Le regardant de l'autre côté ?

Cette page commence par le modèle. Si vous possédez déjà une carte et souhaitez savoir tout ce qu'elle pourra exécuter., Modèle/modèles ne s'adapte pas / ne va pas s'adapter à la VRAM du GPU. Exécution d'un modèle IA. Cela fonctionne bien / fonctionne avec un peu de marge. Ne fonctionne pas ou est trop serré..