Switch calculadora TPS
Cada tarjeta a continuación se evalúa con respecto a este modelo en la longitud de contexto y calidad mínima que elijas. La velocidad es una estimación para una solicitud única, calculada a partir del ancho de banda de memoria de la tarjeta y el tamaño del modelo una vez comprimido..
Calculado para este modelo
¿Qué GPUs pueden ejecutar? Switch?
Configura las entradas, lee la respuesta.
Una conversación más larga necesita más memoria, lo que puede hacer que este modelo no quepa en tarjetas más pequeñas..
Oculta las tarjetas que solo encajarían en el modelo comprimiéndolo por debajo de este punto..
0 las tarjetas coinciden
Calculando| necesidades | Cuantización | Ajustado | |||||
|---|---|---|---|---|---|---|---|
|
Ninguna tarjeta en nuestro catálogo puede ejecutar este modelo con estas configuraciones. |
|||||||
Las velocidades son estimaciones para una sola solicitud — una conversación a la vez — calculadas a partir del ancho de banda de memoria, el tamaño del modelo y la cuantización. El rendimiento real varía con el tiempo de ejecución de la inferencia y su versión. Las cifras publicadas por los proveedores de hardware miden muchas solicitudes simultáneas y son mucho más altas..
En registro
Especificación completa
Todo lo registrado para este modelo. La mayor parte describe cómo fue entrenado más que cómo se ejecuta, un contexto útil para juzgar cuánto trabajo se invirtió en él y cómo se compara con modelos construidos a una escala diferente..
Origen
¿Quién construyó este modelo, dónde y cuándo se publicó?
- Organización
- Tipo de organización
- Industry
- País
- United States of America
- Publicado
- 11 January 2021
- Autors
- William Fedus, Barret Zoph, Noam Shazeer
Lo que hace
Las áreas problemáticas para las que se construyó el modelo. Un modelo puede llevar varios de cada uno.
- Dominio
- Language
- Tarea
- Text autocompletion
- Enfoque
- Self-supervised learning
- Modelo/modelos no encaja. GPU puede correr modelo AI. Correr modelo AI confortable. Quantización FP16 no encaja en VRAM. Tensor de LoRA es ajustado.
- BF16
Tamaño
Qué tan grande es el modelo y cuánta data fue entrenada. Los parámetros son la cifra que decide si se ajusta a una GPU dada.
- Parámetros
- 1.6T
- Espacio entrenado
- 86,400,000,000 tokens
"Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters
"In our protocol we pre-train with 2^20 (1,048,576) tokens per batch for 550k steps amounting to 576B total tokens." 1 token ~ 0.75 words
Cálculo de entrenamiento
La aritmética realizada para entrenar el modelo, medida en operaciones de punto flotante. Es una medida de lo que costó la ejecución del entrenamiento, no de cuán rápido responde el modelo terminado.
- Cálculo de entrenamiento
- 8.2 × 10²² FLOP
- Cómo se estableció
- Third-party estimation
Table 4 https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
La ejecución de entrenamiento
Lo que se necesitó físicamente para entrenar: qué chips, cuántos, por cuánto tiempo y lo que eso consumió de la pared.
- Hardware de entrenamiento
- Google TPU v3
- Chips utilizados
- 1,024
- Horas de chip
- 663,552
- Tiempo en tiempo real
- 648 hours (27 days)
- Utilización de hardware
- HFU 28.0%
- Consumo de energía
- 935.4 kW
- Compute cost
- $145,101
see table 4 in https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
Table 4 in https://arxiv.org/pdf/2104.10350 gives measured performance of 34.4 TFLOP/s, vs. peak achievable FLOP/s of 123 TFLOP/s on the TPUv3 being used. HFU = 34.4/123 = 0.27967
Disponibilidad
Si puedes obtener el modelo y ejecutarlo en tu propio hardware, lo que decide si alguna de las cifras de la tarjeta gráfica en esta página se aplica.
- Pesos
- Open — downloadable
- Acceso al modelo
- Open weights (unrestricted)
- Código de entrenamiento
- Unreleased
Apache 2 for weights: https://huggingface.co/google/switch-c-2048 paper links to this repo but not clear that the training hyperparams for Switch are here: https://github.com/google-research/t5x
Cómo está clasificado
Etiquetas que el conjunto de datos fuente aplica al rastrear modelos notables y cuán seguro está de la entrada.
- modelo Frontier
- Yes
- Por qué se rastrea
- Highly cited,SOTA improvement
- Modelo/modelos siempre significa modelos de IA. Ejecutar/ejecutando significa ejecutar un modelo de IA. Si solo obtienes la palabra ejecutar, es probable que provenga de una frase dividida, como qué modelo de IA puede ejecutar la GPU. no cabe/no encajará significa que el modelo de IA no cabe en la VRAM de la GPU. apretado = apenas ejecutable, cómodo = se ejecuta fácilmente con margen.
- Confident
- Citas
- 3,888
" On ANLI (Nie et al., 2019), Switch XXL improves over the prior state-of-the-art to get a 65.7 accuracy versus the prior best of 49.4 (Yang et al., 2020)... Finally, we also conduct an early examination of the model’s knowledge with three closed-book knowledge-based tasks: Natural Questions, WebQuestions and TriviaQA, without additional pre-training using Salient Span Masking (Guu et al., 2020). In all three cases, we observe improvements over the prior stateof-the-art T5-XXL model (without SSM…
Fuentes
Dónde proviene este registro y cuándo se verificó por última vez.
- Referencia
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
- Última actualización
- 25 May 2026
Qué significan los números
What you need to run it
At 1.6T parameters, Switch is beyond what any single graphics card holds. Running it means either splitting it across several cards or renting hardware built for the job — 0 of the cards we track can hold it on their own, and all of them are datacentre parts.
Fondo
Switch was published by Google, in United States of America, in January 2021. The organisation is categorised as industry.
It works in Language, and is recorded as doing text autocompletion.
Los pesos están publicados, por lo que se pueden descargar y ejecutar en tu propio hardware indefinidamente, sin conexión, sin ninguna cuenta asociada.
Entrenamiento y procedencia
The training run consumed about 8.2 × 10²² FLOP, on Google TPU v3. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Around 86,400,000,000 tokens went into training it.
It is tracked in the underlying dataset for one reason in particular: highly cited,SOTA improvement.
Paso a paso
Cómo elegir una GPU para Switch
La tabla anterior ya ha evaluado cada tarjeta cuya especificación tenemos contra este modelo. Llegar a tu respuesta lleva seis pasos..
-
01
Lee primero la cifra de memoria
Look at what Switch actually needs. No amount of processing power compensates for a card that cannot hold it.
-
02
Decide cuánto tiempo duran tus conversaciones
The conversation occupies memory too, and grows as it goes. Set the slider to the length you expect: at long context Switch can slip off a card that handles short questions easily.
-
03
Decide cuánto compresión aceptarás.
Compression is what makes Switch fit smaller cards, at some cost in accuracy. A minimum quality removes the ones that go too far.
-
04
Ordenar por velocidad
Sort by speed to see how cards rank for Switch. It will not match a gaming ordering — generation is bound by memory bandwidth.
-
05
Read the fit column last
The fit column separates cards that just manage Switch from those with room to spare. Buy for the second if the context might grow.
-
06
Ve qué más ejecuta esa tarjeta
Following a card through to its own page shows every other model it can hold, which is the question that follows once Switch is settled.
Respuestas
Switch — Preguntas comunes
What is Switch used for?
Switch works in Language, and is recorded as handling text autocompletion. These are the areas it was designed around; they describe intent rather than a hard boundary.
Where can I download Switch?
The weights for Switch are published, though we do not hold a repository link for it. This site calculates hardware requirements rather than hosting model files.
How much compute was used to train Switch?
Around 8.2 × 10²² FLOP, on Google TPU v3. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
Can I run Switch if it does not fit in my GPU?
It can be split between the card and system memory, but Switch generates painfully slowly that way — the nearest miss we calculate is short by 691.9 GB. Nothing on this page assumes offloading.
Would two GPUs run Switch faster?
Two cards buy memory rather than speed. That matters for Switch only if one card cannot hold it — 0 can, so a second adds little.
Why does the quantisation differ between cards for Switch?
A larger card holds a more accurate copy. Across the cards that run Switch, 1 compression levels are used; the floor control above pins it to one.
How accurate are these Switch speed estimates?
These are estimates with real error bars. The fastest result here, the range beneath each figure, could reasonably land anywhere in its published range depending on which runtime you use.
Is Switch open source?
Its weights are published, so Switch can be downloaded and run on your own hardware. Note that open weights is not the same as open source in the full sense — it says nothing about the training data, the training code, or the commercial terms attached.
How many parameters does Switch have?
Switch has 1.6T parameters. "Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Switch?
Switch was published by Google, based in United States of America, categorised as industry.
When was Switch released?
Switch was published in January 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
El otro camino
¿Viéndolo desde el otro lado?
Esta página comienza desde el modelo. Si ya tienes una tarjeta y quieres saber todo lo que puede ejecutar., iniciar desde el hardware.