Switch calculadora TPS
Cada tarjeta a continuación se evalúa en función de este modelo en la longitud de contexto y calidad mínima que elijas. La velocidad es una estimación para una sola solicitud, calculada a partir del ancho de banda de memoria de la tarjeta y el tamaño del modelo una vez comprimido..
Calculado para este modelo
818 tarjetas que tenemos especificaciones para
¿Qué GPU pueden ejecutar? Switch?
Establecer las entradas, leer la respuesta
Una conversación más larga necesita más VRAM, lo que puede expulsar este modelo de tarjetas más pequeñas..
Oculta tarjetas que solo se ajustarían al modelo comprimiéndolo por debajo de este punto..
0 las tarjetas coinciden
Calculando| Necesita | Cuantización | Ajustar | |||||
|---|---|---|---|---|---|---|---|
|
Ninguna tarjeta en nuestro catálogo puede ejecutar este modelo con estas configuraciones.. |
|||||||
Las velocidades son estimaciones para una sola solicitud — una conversación a la vez — calculadas a partir del ancho de banda de memoria, el tamaño del modelo y la cuantificación. El rendimiento real varía con el tiempo de inferencia y su versión. Las cifras publicadas por los proveedores de hardware miden muchas solicitudes simultáneas y son mucho más altas..
En registro
especificación completa
Todo en archivo para este modelo. La mayor parte describe cómo fue entrenado en lugar de cómo se ejecuta — contexto útil para juzgar cuánto trabajo se invirtió en él y cómo se compara con modelos construidos a una escala diferente..
Origen
Quién construyó este modelo, dónde, y cuándo fue publicado.
- Organización
- Tipo de Organización
- Industry
- País
- United States of America
- Publicado
- 11 January 2021
- Autores
- William Fedus, Barret Zoph, Noam Shazeer
Lo que hace
Las áreas problemáticas para las que se construyó el modelo. Un modelo puede llevar varios de cada uno.
- Dominio
- Language
- Tarea
- Text autocompletion
- Enfoque
- Self-supervised learning
- Formato numérico
- BF16
Tamaño
Qué tan grande es el modelo y cuántos datos se usaron para su entrenamiento. Los parámetros son la cifra que decide si se ajusta en una tarjeta gráfica dada.
- parámetros
- 1.6T
- Datos de entrenamiento
- 86,400,000,000 tokens
"Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters
"In our protocol we pre-train with 2^20 (1,048,576) tokens per batch for 550k steps amounting to 576B total tokens." 1 token ~ 0.75 words
Cómputo de entrenamiento
La aritmética realizada para entrenar el modelo, medida en operaciones de punto flotante. Es una medida de lo que costó la ejecución del entrenamiento, no de qué tan rápido te responde el modelo terminado.
- Cómputo de entrenamiento
- 8.2 × 10²² FLOP
- Cómo se estableció
- Third-party estimation
Table 4 https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
La ejecución de entrenamiento
Lo que costó físicamente entrenar: qué chips, cuántos, por cuánto tiempo y qué eso consumió de la pared.
- Hardware de entrenamiento
- Google TPU v3
- Chips utilizados
- 1,024
- Horas de chip
- 663,552
- Tiempo de reloj
- 648 hours (27 days)
- Utilización de hardware
- HFU 28.0%
- Consumo de energía
- 935.4 kW
- Costo de cómputo
- $145,101
see table 4 in https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
Table 4 in https://arxiv.org/pdf/2104.10350 gives measured performance of 34.4 TFLOP/s, vs. peak achievable FLOP/s of 123 TFLOP/s on the TPUv3 being used. HFU = 34.4/123 = 0.27967
Disponibilidad
Si puedes obtener el modelo y ejecutarlo en tu propio hardware, lo que decide si alguna de las cifras de la GPU en esta página se aplica.
- Pesos
- Open — downloadable
- Acceso al modelo
- Open weights (unrestricted)
- Código de entrenamiento
- Unreleased
Apache 2 for weights: https://huggingface.co/google/switch-c-2048 paper links to this repo but not clear that the training hyperparams for Switch are here: https://github.com/google-research/t5x
Cómo está clasificado
Etiquetas que el conjunto de datos fuente aplica al rastrear modelos notables y cuán confiable es en la entrada.
- Modelo Frontier
- Yes
- Por qué se rastrea
- Highly cited,SOTA improvement
- Confianza de registro
- Confident
- Citas
- 3,888
" On ANLI (Nie et al., 2019), Switch XXL improves over the prior state-of-the-art to get a 65.7 accuracy versus the prior best of 49.4 (Yang et al., 2020)... Finally, we also conduct an early examination of the model’s knowledge with three closed-book knowledge-based tasks: Natural Questions, WebQuestions and TriviaQA, without additional pre-training using Salient Span Masking (Guu et al., 2020). In all three cases, we observe improvements over the prior stateof-the-art T5-XXL model (without SSM…
Fuentes
De dónde proviene este registro y cuándo fue comprobado por última vez.
- Referencia
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
- Última actualización
- 25 May 2026
Qué significan los números
Lo que necesitas para ejecutar esto
Switch llega a un recuento de parámetros de 1.6T. Eso está más allá de lo que cualquier tarjeta gráfica única puede soportar. Ejecutarlo significa dividirlo entre varias tarjetas o alquilar hardware construido para el trabajo, y cada tarjeta capaz de soportarlo sola es una parte de datacenter. El número que puede: 0.
Fondo
Switch fue publicado por Google, en el país registrado como United States of America, durante January 2021. La organización editora está clasificada como industry.
Funciona en el dominio de Language, y se registra como realizando la tarea de text autocompletion.
Los PESOS están publicados, por lo que se puede descargar y ejecutar en su propio HARDWARE indefinidamente, SIN CONEXIÓN, sin cuenta adjunta.
Entrenamiento y procedencia
El entrenamiento consumió alrededor de 8.2 × 10²² FLOP, en hardware registrado como Google TPU v3. Esa cifra mide lo que costó producir el modelo, y no tiene relación con qué tan rápido responde.
El entrenamiento consumió un corpus de alrededor de 86,400,000,000 tokens de texto
Se rastrea en el conjunto de datos subyacente por una razón en particular: highly cited,SOTA improvement.
Paso a paso
Cómo elegir una GPU para Switch
La tabla de arriba ya ha evaluado cada tarjeta para la que tenemos especificaciones en contra de este modelo. Llegar a tu respuesta toma seis pasos..
-
01
Lee la cifra de MEMORIA primero
Empieza desde lo que realmente necesita, que es el requerimiento de Switch. Esa cifra, no el rendimiento principal de una CARD, es lo que decide si se ejecuta.
-
02
Decide cuánto duran tus conversaciones.
La conversación ocupa memoria también, y crece a medida que avanza. Ajusta el controlador a la longitud que esperas, porque en un contexto largo una CARD que maneja preguntas cortas fácilmente puede no encajar. Switch.
-
03
Decide cuánto compresión aceptarás
La compresión es lo que hace que un modelo quepa en tarjetas más pequeñas, a costa de cierta precisión.. Establecer una calidad mínima elimina las tarjetas que solo la manejan apretando más de lo que desearías, y mantiene la comparación en un nivel.
-
04
Ordenar por velocidad
Ordenar por velocidad para ver cómo se clasifican las tarjetas por Switch. No se ajustará a un pedido de gaming, porque la generación está limitada por el ancho de banda de memoria.
-
05
Lee la columna de ajuste al final
La columna de ajuste separa las TARJETAS que apenas lo gestionan de aquellas con espacio de sobra, en el caso de Switch. Cómodo significa que puedes aumentar el contexto más adelante. Esa diferencia importa más que unos pocos tokens por segundo, así que compra por cómodo si esperas hacerlo.
-
06
Mira qué más ejecuta esa tarjeta
Seguir un GPU a su propia página muestra cada otro modelo que puede contener, que es la pregunta que sigue una vez que te has decidido por. Switch.
Respuestas
Switch — preguntas comunes
Switch— ¿Para qué se utiliza?
Funciona en el dominio de Language, y se registra como manejando la tarea de text autocompletion. Estas son las áreas en las que fue diseñado; describen la intención más que un límite estricto.
Switch— ¿Dónde puedo descargarlo?
Los pesos están publicados, aunque no tenemos un enlace de repositorio para ello. Este sitio calcula los requisitos de hardware en lugar de alojar archivos de modelo.
Switch— cuánto compute se utilizó para entrenarlo?
El entrenamiento consumió alrededor 8.2 × 10²² FLOP, en hardware registrado como Google TPU v3. Eso mide cuánto costó producir el modelo y no dice nada sobre cuán rápido responde una vez entrenado — la velocidad de inferencia proviene del ancho de banda de memoria, no del presupuesto de entrenamiento.
Switch— ¿Puedo ejecutarlo si no cabe en mi GPU?
Se puede dividir entre la tarjeta y la memoria del sistema, pero se genera muy lentamente de esa manera. El fallo más cercano que calculamos se queda corto por 691.9 GB Cada cifra aquí asume que todo el modelo está residente en la tarjeta.
Switch— ¿Correrían dos GPUS más rápido?
Dos tarjetas compran memoria en lugar de velocidad, lo cual solo importa si una tarjeta no puede contenerlo. El número que puede: 0. Así que una segunda tarjeta rara vez es la respuesta aquí.
Switch— ¿Por qué difiere la cuantificación entre tarjetas?
Una tarjeta más grande sostiene una copia más precisa. El número de niveles de compresión utilizados en las tarjetas que la ejecutan: 1. Las tarjetas más grandes obtienen la versión más precisa, y el nivel de calidad por encima establece la comparación a un nivel.
Switch— ¿Qué tan precisas son estas estimaciones de velocidad?
Estas son estimaciones con barras de error reales, y cualquiera de ellas podría razonablemente situarse en cualquier parte de su rango publicado dependiendo del runtime que utilices. El resultado más rápido aquí: el rango debajo de cada cifra. El mismo modelo y tarjeta varían entre el treinta y el cincuenta por ciento dependiendo del software de inferencia y su versión.
Switch— ¿Es de código abierto?
Sus pesos están publicados, por lo que se pueden descargar y ejecutar en su propio hardware. Tenga en cuenta que OPEN WEIGHTS no es lo mismo que OPEN SOURCE en el sentido completo: no dice nada sobre los datos de entrenamiento, el código de entrenamiento o los términos comerciales adjuntos.
Switch— ¿cuántos parámetros tiene?
Tiene un recuento de parámetros de 1.6T. "Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters. Esa cifra es el total, y es lo que decide cuánta MEMORIA necesita el modelo — aproximadamente medio gigabyte por mil millones en la compresión que la mayoría de las personas usa.
Switch— ¿Quién lo creó?
Fue publicado por Google, basado en United States of America, una organización categorizada como industry.
Switch— ¿cuándo fue lanzado?
Se publicó en January 2021. La capacidad por parámetro ha mejorado considerablemente desde entonces, por lo que un modelo más reciente del mismo tamaño suele ser el mejor uso del mismo hardware.
La otra dirección
¿Mirándolo desde el otro lado?
Esta página comienza desde el modelo. Si ya posees una tarjeta y quieres saber todo lo que podrá ejecutar., Comience desde el hardware en su lugar.