ViT-G/14
Žádný odhad
Žádné hardwarové požadavky pro tento model
Hmotnosti pro tento model nebyly zveřejněny, takže jej nelze stáhnout ani spustit na vlastním hardwaru v žádné velikosti. Je dostupný pouze prostřednictvím svého poskytovatele, a žádná změna grafické karty to nezmění..
Na záznamu
Plná specifikace
Všechno o tomto modelu v záznamech. Většina z toho popisuje, jak byl trénován, spíše než jak funguje — užitečný kontext pro posouzení, kolik práce do něj bylo vynaloženo, a jak se srovnává s modely postavenými na jiné úrovni..
Původ
Kdo vytvořil tento model, kde a kdy byl publikován.
- Organizace
- Google Brain,Google Research
- Typ organizace
- Industry,Industry
- Země
- United States of America
- Publikováno
- 8 June 2021
- Autoři
- X Zhai, A Kolesnikov, N Houlsby, L Beyer
Co to dělá
Problémové oblasti, pro které byl model vytvořen. Model může obsahovat několik z každého.
- Doména
- Vision
- Úkol
- Image classification
- Přístup
- Self-supervised learning
- Číselný formát
- BF16
Velikost
Jak velký je model a kolik dat byl trénován. Parametry jsou číslo, které rozhoduje, zda se vejde na danou grafickou kartu.
- parametry
- 1.8B
- Výcviková data
- 3,000,000,000 tokens
- Epochy
- 54.6
- Velikost dávky
- 32,768
Table 2 of paper
"For this study, we use the proprietary JFT-3B dataset, a larger version of the JFT-300M dataset used in many previous works on large-scale computer vision models [31, 18, 11]. This dataset consists of nearly 3 billion images, annotated with a class-hierarchy of around 30k labels via a semi-automatic pipeline" Epochs: 5M steps (Table 11) * 32768 (batch size) / 3B = 54.6 epochs
Výpočty pro trénink
Aritmetika prováděná k trénování modelu, měřená v operacích s plovoucí desetinnou čárkou. Je to měřítko toho, kolik stál tréninkový běh, ne jak rychle hotový model na vás odpovídá.
- Výpočty pro trénink
- 5.9 × 10²² FLOP
- Jak bylo ustanoveno
- Hardware,Operation counting
Digitizing Figure 9 indicates training used 27,200 TPUv3 core-days. TPUv3 is 123 teraflop/s per chip, 2 cores per chip. 1.23e14 * (1/2) * 27,200 * 24 * 3600 * 0.4 = 5.78e22 Alternatively, Table 2 indicates 965.3e9 FLOPs per forward pass on a 224^2 image. Table 4 indicates 5 million steps at a (normalized) batch size of 4096, and total flops including backward pass would be 3x the FLOPs from forward passes alone, so we get: 4096 * 5e6 * 965.3e9 * 3 = 5.93e22 (Note that actual batch size appear…
Tréninkový běh
Co fyzicky vyžadovalo trénování: které čipy, kolik, jak dlouho a co to vyžadovalo ze zásuvky.
- Tréninkový hardware
- Google TPU v3
- Používané čipy
- 2,048
- Příkon
- 1.9 MW
- Náklady na výpočet
- $3,848
Dostupnost
Zda můžete získat model a spustit ho na svém vlastním hardwaru, což rozhoduje o tom, zda se některé z čísel grafických karet na této stránce vztahují.
- Hmotnosti
- Closed — provider access only
- Přístup k modelu
- Unreleased
- Tréninkový kód
- Open source
About the weights: https://twitter.com/giffmana/status/1402507421029916672 About the code: Apache 2.0 https://github.com/google-research/big_vision/blob/main/big_vision/configs/proj/scaling_laws/train_vit_g.py
Jak je to klasifikováno
Štítky aplikačních datových sad, které se používají při sledování významných modelů, a jak jistý je ve záznamu.
- Proč je to sledováno
- SOTA improvement
- Záznam důvěry
- Confident
- Citace
- 1,393
"we successfully train a ViT model with two billion parameters, which attains a new state-of-the-art on ImageNet of 90.45% top-1 accuracy"
Žrovy
Odkud tento záznam pochází a kdy byl naposledy zkontrolován.
- Reference
- Scaling Vision Transformers
- Nap poslední aktualizace
- 25 May 2026
Co čísla znamenají
Co je tento MODEL
ViT-G/14 byl zveřejněn Google Brain,Google Research, v zemi zaznamenané jako United States of America, během June 2021. Vydavatelská organizace je kategorizována jako industry,Industry.
funguje v oblasti Vision, a je zaznamenán jako vykonávající úkol image classification.
Protože váhy nejsou k dispozici, žádné z hardwarových údajů na tomto webu se na něj nevztahují.
Co bylo zapotřebí k jeho vybudování
Produkce toho vyžadovala aritmetiku v celkové výši přibližně 5.9 × 10²² FLOP, na hardwaru zaznamenáno jako Google TPU v3. Tato částka měří, kolik stál výroba modelu, a nemá žádný vliv na to, jak rychle odpovídá.
Bylo to trénováno na korpusu asi 3,000,000,000 tokeny textu
Důvod, proč se to v tomto katalogu vůbec objevuje: sOTA improvement.
Odpovědi
ViT-G/14 — běžné otázky
ViT-G/14— Kdy byl vydán?
Bylo to zveřejněno v June 2021. Schopnost na parametr se od té doby výrazně zlepšila, takže novější model stejné velikosti je často lepším využitím stejného hardwaru.
ViT-G/14— K čemu se to používá?
funguje v oblasti Vision, a je zaznamenáno jako zpracovávající úkol image classification. Model může nést několik z každého, takže to jsou oblasti, pro které byl navržen, spíše než omezení toho, co se pokusí.
ViT-G/14— kolik výpočetního výkonu bylo použito k jeho trénování?
Trénink spotřeboval kolem 5.9 × 10²² FLOP, na hardwaru zaznamenáno jako Google TPU v3. To měří, co stálo výrobu modelu, a neříká nic o tom, jak rychle odpovídá po natrénování — rychlost inferencí závisí na šířce pásma paměti, nikoli na rozpočtu na trénink.
ViT-G/14— Jakou GPU potřebuji k jejímu spuštění?
Žádné. Toto je uzavřený model — jeho váhy nikdy nebyly zveřejněny, takže jej nelze stáhnout nebo spustit na vlastním hardwaru za žádnou cenu. Je dostupný pouze prostřednictvím jeho poskytovatele.
ViT-G/14— Je to OPEN SOURCE?
Ne. Jeho váhy nebyly zveřejněny, takže existuje pouze jako služba řízená jeho vlastníkem.
ViT-G/14— kolik má parametrů?
Má počet parametrů 1.8B. Table 2 of paper. Tato cifra je celková a rozhoduje o tom, kolik VRAM model potřebuje — přibližně půl gigabajtu na miliardu při kompresi, kterou většina lidí používá.
ViT-G/14— Kdo to vytvořil?
Bylo to publikováno společností Google Brain,Google Research, zakládající se na United States of America, organizace zařazená jako industry,Industry.
Druhý směr
Díváte se na to z druhé strany?
Tato stránka začíná od modelu. Pokud již vlastníte kartu a chcete vědět všechno, co bude spuštěno, začněte raději od hardwaru.