ViT-22B
Sin estimación
No hay requisitos de hardware para este modelo
Los pesos de este modelo no han sido publicados, por lo que no se puede descargar ni ejecutar en su propio hardware en ningún tamaño. Solo es accesible a través de su proveedor, y ninguna tarjeta gráfica lo cambia.
En registro
Especificación completa
Todo lo registrado para este modelo. La mayoría de ello describe cómo fue entrenado en lugar de cómo se ejecuta — contexto útil para juzgar cuánto trabajo se dedicó a ello y cómo se compara con modelos construidos a una escala diferente.
Origen
¿Quién construyó este modelo, dónde y cuándo fue publicado?
- Organización
- Tipo de organización
- Industry
- País
- United States of America
- Publicado
- 10 February 2023
- Autores
- Mostafa Dehghani, Josip Djolonga, Basil Mustafa, Piotr Padlewski, Jonathan Heek, Justin Gilmer, Andreas Steiner, Mathilde Caron, Robert Geirhos, Ibrahim Alabdulmohsin, Rodolphe Jenatton, Lucas Beyer, Michael Tschannen, Anurag Arnab, Xiao Wang, Carlos Riquelme, Matthias Minderer, Joan Puigcerver, Utku Evci, Manoj Kumar, Sjoerd van Steenkiste, Gamaleldin F. Elsayed, Aravindh Mahendran, Fisher Yu, Av…
Lo que hace
Las áreas problemáticas para las que se construyó el modelo. Un modelo puede llevar varios de cada uno.
- Dominio
- Vision
- Tarea
- Object detection, Image classification
- Numerical format
- BF16
Tamaño
Qué tan grande es el modelo y cuántos datos se utilizaron para entrenarlo. Los parámetros son la cifra que decide si se ajusta en una tarjeta gráfica dada.
- Parámetros
- 21.7B
- Datos de entrenamiento
- 4,000,000,000 tokens
- Épocas
- 2.9
21.743B, Table 1
"Dataset. ViT-22B is trained on a version of JFT (Sun et al., 2017), extended to around 4B images (Zhai et al., 2022a). These images have been semi-automatically annotated with a class-hierarchy of 30k labels"
Entrenamiento de computación
La aritmética realizada para entrenar el modelo, medida en operaciones de punto flotante. Es una medida de lo que costó la ejecución del entrenamiento, no de cuán rápido responde el modelo terminado.
- Entrenamiento de computación
- 1.9 × 10²³ FLOP
- Cómo se estableció
- Hardware
"ViT-22B was trained using 256 visual tokens per image, where each token represents a 14 × 14 patch extracted from 224 × 224 sized images. ViT-22B is trained for 177k steps with batch size of 65k: approximately 3 epochs" "ViT-22B was trained on 1024 TPU V4 chips for 177K steps" "Using these techniques, ViT-22B processes 1.15k tokens per second per core during training (forward and backward pass) on TPUv4 [...] ViT-22B’s model flops utilization (MFU) is 54.9%" 256 * 177k * 65k = 2.945T tokens …
El entrenamiento
Lo que se necesitó físicamente para entrenar: qué chips, cuántos, durante cuánto tiempo y qué consumió de la pared.
- Hardware de entrenamiento
- Google TPU v4
- Chips usados
- 1,024
- Wall-clock time
- 347 hours (14.5 days)
- Hardware utilisation
- MFU 54.9%
- Consumo de energía
- 694.9 kW
- Compute cost
- $285,556
"Using these techniques, ViT-22B processes 1.15k tokens per second per core during training (forward and backward pass)" From model card we know they trained with 1024 TPUv4 chips, and there are 2 cores per chip. Total number of tokens was 177K steps * 65k images/step * 256 tokens/image = 2.945T tokens So training time is 2.945T tokens / (1.15k * 2 * 1024) tokens/s = 1.25M seconds = 347.4 hours
"Using these techniques, ViT-22B processes 1.15k tokens per second per core during training (forward and backward pass) on TPUv4 [...] ViT-22B’s model flops utilization (MFU) is 54.9%"
Disponibilidad
Si puedes obtener el modelo y ejecutarlo en tu propio hardware, lo cual es lo que decide si alguna de las cifras de la tarjeta gráfica en esta página aplica.
- Pesos
- Closed — provider access only
- Acceso al modelo
- Unreleased
- Código de entrenamiento
- Unreleased
don't see it here: https://github.com/google-research/vision_transformer?tab=readme-ov-file#available-vit-models
Cómo se clasifica
Etiquetas que aplica el conjunto de datos de origen al rastrear modelos notables y cuán seguro está de la entrada.
- Probablemente por encima de 10²³ FLOP
- Yes
- Por qué se rastrea
- SOTA improvement
- Registrar confianza
- Confident
- Citations
- 862
"The largest ViT-22B sets the new SOTA on the challenging ObjectNet test set"
Fuentes
De dónde proviene este registro y cuándo fue revisado por última vez.
- Referencia
- Scaling Vision Transformers to 22 Billion Parameters
- Última actualización
- 25 May 2026
Qué significan los números
Where it came from
ViT-22B was published by Google, in United States of America, in February 2023. industry is the category the publisher falls under.
It works in Vision, and is recorded as doing object detection, Image classification.
Sus pesos nunca fueron publicados, por lo que solo se puede acceder a ellos a través de su proveedor. Ninguna tarjeta gráfica cambia eso.
Qué se utilizó para construirlo
The training run consumed about 1.9 × 10²³ FLOP, on Google TPU v4. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Se entrenó con alrededor de 4,000,000,000 tokens de texto.
It is tracked in the underlying dataset for one reason in particular: sOTA improvement.
Respuestas
ViT-22B — Preguntas frecuentes
How much compute was used to train ViT-22B?
Around 1.9 × 10²³ FLOP, on Google TPU v4. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run ViT-22B?
None. ViT-22B is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is ViT-22B open source?
No. ViT-22B has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does ViT-22B have?
ViT-22B has 21.7B parameters. 21.743B, Table 1. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created ViT-22B?
ViT-22B was published by Google, based in United States of America, categorised as industry.
When was ViT-22B released?
ViT-22B was published in February 2023. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is ViT-22B used for?
ViT-22B works in Vision, and is recorded as handling object detection, Image classification. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
La otra dirección
¿Mirándolo desde el otro lado?
Esta página comienza desde el modelo. Si ya posee una tarjeta y desea saber todo lo que podrá ejecutar, empiece por el hardware en su lugar.