MoE-1.1T calculadora TPS
Cada tarjeta a continuación se evalúa con respecto a este modelo en la longitud de contexto y calidad mínima que elijas. La velocidad es una estimación para una solicitud única, calculada a partir del ancho de banda de memoria de la tarjeta y el tamaño del modelo una vez comprimido..
Calculado para este modelo
¿Qué GPUs pueden ejecutar? MoE-1.1T?
Configura las entradas, lee la respuesta.
Una conversación más larga necesita más memoria, lo que puede hacer que este modelo no quepa en tarjetas más pequeñas..
Oculta las tarjetas que solo encajarían en el modelo comprimiéndolo por debajo de este punto..
0 las tarjetas coinciden
Calculando| necesidades | Cuantización | Ajustado | |||||
|---|---|---|---|---|---|---|---|
|
Ninguna tarjeta en nuestro catálogo puede ejecutar este modelo con estas configuraciones. |
|||||||
Las velocidades son estimaciones para una sola solicitud — una conversación a la vez — calculadas a partir del ancho de banda de memoria, el tamaño del modelo y la cuantización. El rendimiento real varía con el tiempo de ejecución de la inferencia y su versión. Las cifras publicadas por los proveedores de hardware miden muchas solicitudes simultáneas y son mucho más altas..
En registro
Especificación completa
Todo lo registrado para este modelo. La mayor parte describe cómo fue entrenado más que cómo se ejecuta, un contexto útil para juzgar cuánto trabajo se invirtió en él y cómo se compara con modelos construidos a una escala diferente..
Origen
¿Quién construyó este modelo, dónde y cuándo se publicó?
- Organización
- Meta AI
- Tipo de organización
- Industry
- País
- United States of America
- Publicado
- 20 December 2021
- Autors
- Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Mona Diab, Zornitsa Kozareva, Ves Stoyanov
Lo que hace
Las áreas problemáticas para las que se construyó el modelo. Un modelo puede llevar varios de cada uno.
- Dominio
- Language
- Tarea
- Language modeling/generation, Question answering
Tamaño
Qué tan grande es el modelo y cuánta data fue entrenada. Los parámetros son la cifra que decide si se ajusta a una GPU dada.
- Parámetros
- 1.1T
- Espacio entrenado
- 112,000,000,000 tokens
- Épocas
- 2.68
112B tokens, or 84B words at 0.75 English words/token. "We pretrain our models on a union of six Englishlanguage datasets, including the five datasets used to pretrain RoBERTa (Liu et al., 2019) and the English subset of CC100, totalling 112B tokens"
Cálculo de entrenamiento
La aritmética realizada para entrenar el modelo, medida en operaciones de punto flotante. Es una medida de lo que costó la ejecución del entrenamiento, no de cuán rápido responde el modelo terminado.
- Cálculo de entrenamiento
- 2.2 × 10²² FLOP
- Cómo se estableció
- Reported
Reported directly in paper. Authors calculate FLOPs analytically in appendix G
La ejecución de entrenamiento
Lo que se necesitó físicamente para entrenar: qué chips, cuántos, por cuánto tiempo y lo que eso consumió de la pared.
- Hardware de entrenamiento
- NVIDIA A100
Disponibilidad
Si puedes obtener el modelo y ejecutarlo en tu propio hardware, lo que decide si alguna de las cifras de la tarjeta gráfica en esta página se aplica.
- Pesos
- Open — downloadable
- Acceso al modelo
- Open weights (non-commercial)
- Código de entrenamiento
- Unreleased
for research use only https://github.com/facebookresearch/fairseq/tree/main/examples/moe_lm I don't see training code
Cómo está clasificado
Etiquetas que el conjunto de datos fuente aplica al rastrear modelos notables y cuán seguro está de la entrada.
- Modelo/modelos siempre significa modelos de IA. Ejecutar/ejecutando significa ejecutar un modelo de IA. Si solo obtienes la palabra ejecutar, es probable que provenga de una frase dividida, como qué modelo de IA puede ejecutar la GPU. no cabe/no encajará significa que el modelo de IA no cabe en la VRAM de la GPU. apretado = apenas ejecutable, cómodo = se ejecuta fácilmente con margen.
- Confident
- Citas
- 241
Fuentes
Dónde proviene este registro y cuándo se verificó por última vez.
- Referencia
- Efficient Large Scale Language Modeling with Mixtures of Experts
- Última actualización
- 25 May 2026
Qué significan los números
Requisitos de hardware en la práctica
At 1.1T parameters, MoE-1.1T is beyond what any single graphics card holds. Running it means either splitting it across several cards or renting hardware built for the job — 0 of the cards we track can hold it on their own, and all of them are datacentre parts.
Dónde provino
MoE-1.1T was published by Meta AI, in United States of America, in December 2021. industry is the category the publisher falls under.
Funciona en Español y se registra como generación/modelado de lenguaje, Respuesta a preguntas.
Los pesos están publicados, por lo que se pueden descargar y ejecutar en tu propio hardware indefinidamente, sin conexión, sin ninguna cuenta asociada.
Qué se utilizó para construirlo
The training run consumed about 2.2 × 10²² FLOP, on NVIDIA A100. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
It was trained on about 112,000,000,000 tokens of text.
Paso a paso
Cómo elegir una GPU para MoE-1.1T
La tabla anterior ya ha evaluado cada tarjeta cuya especificación tenemos contra este modelo. Llegar a tu respuesta lleva seis pasos..
-
01
Desde la columna de memoria
Every card here has been checked against MoE-1.1T. Capacity is the gate — a card either holds it or it does not.
-
02
Decide cuánto tiempo duran tus conversaciones
Longer conversations cost memory on top of what the weights need. Move the slider to your real working length before trusting any row for MoE-1.1T.
-
03
Elige cuánto lo comprimirás
Each card runs the least-compressed copy it can hold. Setting a floor drops the cards that only manage MoE-1.1T by squeezing it further than you would want.
-
04
Compara TPS, no especificaciones.
Sort by speed to see how cards rank for MoE-1.1T. It will not match a gaming ordering — generation is bound by memory bandwidth.
-
05
Verifica el veredicto de compatibilidad antes de comprar.
Tight means MoE-1.1T loads and works, with no room to raise the context later. Comfortable means you can. The difference matters more than a few tokens per second.
-
06
Verifica la tarjeta del otro lado
Each card page repeats this sweep for every model we hold. It answers what else the hardware is good for, beyond MoE-1.1T.
Respuestas
MoE-1.1T — Preguntas comunes
Is MoE-1.1T open source?
Its weights are published, so MoE-1.1T can be downloaded and run on your own hardware. Note that open weights is not the same as open source in the full sense — it says nothing about the training data, the training code, or the commercial terms attached.
How many parameters does MoE-1.1T have?
MoE-1.1T has 1.1T parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created MoE-1.1T?
MoE-1.1T was published by Meta AI, based in United States of America, categorised as industry.
When was MoE-1.1T released?
MoE-1.1T was published in December 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is MoE-1.1T used for?
MoE-1.1T works in Language, and is recorded as handling language modeling/generation, Question answering. These are the areas it was designed around; they describe intent rather than a hard boundary.
Where can I download MoE-1.1T?
The weights for MoE-1.1T are published, though we do not hold a repository link for it. This site calculates hardware requirements rather than hosting model files.
How much compute was used to train MoE-1.1T?
Around 2.2 × 10²² FLOP, on NVIDIA A100. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
Can I run MoE-1.1T if it does not fit in my GPU?
It can be split between the card and system memory, but MoE-1.1T generates painfully slowly that way — the nearest miss we calculate is short by 407.0 GB. Nothing on this page assumes offloading.
Would two GPUs run MoE-1.1T faster?
Two cards buy memory rather than speed. That matters for MoE-1.1T only if one card cannot hold it — 0 can, so a second adds little.
Why does the quantisation differ between cards for MoE-1.1T?
Because capacity varies, so does how hard MoE-1.1T has to be squeezed — 1 distinct levels appear in the table above. Set a minimum quality to compare at one.
How accurate are these MoE-1.1T speed estimates?
Se calculan a partir de especificaciones en lugar de ser medidas, y cada uno lleva un rango - el rango debajo de cada cifra, por ejemplo. El mismo modelo y tarjeta varían entre treinta y cincuenta por ciento dependiendo del software de inferencia y su versión.
El otro camino
¿Viéndolo desde el otro lado?
Esta página comienza desde el modelo. Si ya tienes una tarjeta y quieres saber todo lo que puede ejecutar., iniciar desde el hardware.