ViT-22B
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Szervezet típusa
- Industry
- Ország
- United States of America
- Közölt
- 10 February 2023
- Szerzők
- Mostafa Dehghani, Josip Djolonga, Basil Mustafa, Piotr Padlewski, Jonathan Heek, Justin Gilmer, Andreas Steiner, Mathilde Caron, Robert Geirhos, Ibrahim Alabdulmohsin, Rodolphe Jenatton, Lucas Beyer, Michael Tschannen, Anurag Arnab, Xiao Wang, Carlos Riquelme, Matthias Minderer, Joan Puigcerver, Utku Evci, Manoj Kumar, Sjoerd van Steenkiste, Gamaleldin F. Elsayed, Aravindh Mahendran, Fisher Yu, Av…
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Vision
- Feladat
- Object detection, Image classification
- Numerikus formátum
- BF16
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 21.7B
- Képzési adatok
- 4,000,000,000 tokens
- Epochok
- 2.9
21.743B, Table 1
"Dataset. ViT-22B is trained on a version of JFT (Sun et al., 2017), extended to around 4B images (Zhai et al., 2022a). These images have been semi-automatically annotated with a class-hierarchy of 30k labels"
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 1.9 × 10²³ FLOP
- Hogyan jött létre
- Hardware
"ViT-22B was trained using 256 visual tokens per image, where each token represents a 14 × 14 patch extracted from 224 × 224 sized images. ViT-22B is trained for 177k steps with batch size of 65k: approximately 3 epochs" "ViT-22B was trained on 1024 TPU V4 chips for 177K steps" "Using these techniques, ViT-22B processes 1.15k tokens per second per core during training (forward and backward pass) on TPUv4 [...] ViT-22B’s model flops utilization (MFU) is 54.9%" 256 * 177k * 65k = 2.945T tokens …
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- Google TPU v4
- Használt chipek
- 1,024
- Fali óra idő
- 347 hours (14.5 days)
- Hardverhasználat
- MFU 54.9%
- Teljesítményfogyasztás
- 694.9 kW
- Számítási költség
- $285,556
"Using these techniques, ViT-22B processes 1.15k tokens per second per core during training (forward and backward pass)" From model card we know they trained with 1024 TPUv4 chips, and there are 2 cores per chip. Total number of tokens was 177K steps * 65k images/step * 256 tokens/image = 2.945T tokens So training time is 2.945T tokens / (1.15k * 2 * 1024) tokens/s = 1.25M seconds = 347.4 hours
"Using these techniques, ViT-22B processes 1.15k tokens per second per core during training (forward and backward pass) on TPUv4 [...] ViT-22B’s model flops utilization (MFU) is 54.9%"
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Unreleased
don't see it here: https://github.com/google-research/vision_transformer?tab=readme-ov-file#available-vit-models
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Valószínűleg 10²³ FLOP felett
- Yes
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 862
"The largest ViT-22B sets the new SOTA on the challenging ObjectNet test set"
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Scaling Vision Transformers to 22 Billion Parameters
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Honnan jött
ViT-22B ki lett adva által Google, az országban rögzítve mint United States of America, alatt February 2023. A kiadó kategóriája alá tartozik industry.
Működik a területen a Vision, és úgy van rögzítve, mint a feladat végrehajtása object detection, Image classification.
Súlyait soha nem tették közzé, így csak a szolgáltatóján keresztül érhető el. Nincs grafikus kártya, ami ezt megváltoztatná.
Mi került a felépítésébe
A képzés futás körülbelül 1.9 × 10²³ FLOP, hardveren rögzítve Google TPU v4. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Körülbelül egy korpuszon lett betanítva 4,000,000,000 szöveg tokenjei
Egy különös okból nyomon követik az alapul szolgáló adatbázisban: sOTA improvement.
Válaszok
ViT-22B — gyakori kérdések
ViT-22B— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 1.9 × 10²³ FLOP, hardveren rögzítve Google TPU v4. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
ViT-22B— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
ViT-22B— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
ViT-22B— Hány paramétere van?
Paraméterszáma 21.7B. 21.743B, Table 1. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
ViT-22B— Ki készítette ezt?
Kiadta Google, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry.
ViT-22B— Mikor adták ki?
Kibocsátották a February 2023. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
ViT-22B— Mire használják?
Működik a területen a Vision, és rögzítve van, hogy kezeli a feladatot object detection, Image classification. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..