ALIGN
Žádný odhad
Žádné hardwareové požadavky na tento model
Hmotnosti tohoto modelu nebyly publikovány, takže jej nelze stáhnout ani spustit na vlastním hardwaru v jakékoli velikosti. Je dostupný pouze prostřednictvím svého poskytovatele a žádná grafická karta to nezmění..
Záznam.
Plná specifikace
Všechno zaznamenané k tomuto modelu. Většina z toho popisuje, jak byl trénován, nikoli jak běží — užitečný kontext pro posouzení, kolik práce do něj bylo vloženo, a jak se srovnává s modely postavenými na jinou škálu.
Původ
Kdo vybudoval tento model, kde a kdy byl publikován.
- Organizace
- Google Research
- Typ organizace
- Industry
- Země
- United States of America
- Publikováno
- 11 June 2021
- Authors
- Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yunhsuan Sung, Zhen Li, Tom Duerig
Co to dělá
Problémové oblasti, pro které byl model vyvinut. Model může obsahovat několik z každého.
- Doména
- Multimodal, Vision, Language
- Úkol
- Representation learning, Image classification, Image representation
- Approach
- Self-supervised learning
Velikost
Jak velký je model a na kolik dat byl vytrénován. Parametry jsou číslo, které rozhoduje o tom, zda se vejde na danou grafickou kartu.
- Parametry
- 820M
- Tréninková data
- 1,800,000,000 tokens
- Batch size
- 16,384
From author communication 480M (image tower) + 340 M (text tower)
Dataset contains 1.8B image-text pairs, then some duplicates are removed.
Výpočet trénování
Aritmetika prováděná k trénování modelu, měřená v operacích s plovoucí desetinnou čárkou. Je to měřítko toho, kolik stál trénink, nikoli jak rychle hotový model na vás odpovídá.
- Výpočet trénování
- 2.6 × 10²² FLOP
- Jak bylo založeno
- Hardware
From author communication 14.82K TPUv3 core-days Precision: bfloat16 Estimation TPUv3 at float16: 123 TFLOPS/chip 123*10^12 TFLOPS/chip * (1 chip / 2 cores) * 14820 TPU core-days * 86400 s/day * 33% utilization = 2.599*10^22 FLOP https://www.wolframalpha.com/input?i=14820+days+*+123+teraFLOPS+%2F+2+*+0.33
Tréninkový běh
Co fyzicky vyžadovalo trénování: které čipy, kolik, jak dlouho a co to bralo ze zásuvky.
- Tréninkové hardwarové zařízení
- Google TPU v3
- Chips used
- 512
- Chip-hours
- 177,818
- Wall-clock time
- 347 hours (14.5 days)
- Příkon
- 466.1 kW
- Compute cost
- $32,853
14820 TPU core-hours / 1024 TPU cores = 347.3 hours
Dostupnost
Zda můžete získat model a spustit ho na svém vlastním hardwaru, což rozhoduje o tom, zda se na tuto stránku vztahují jakákoliv čísla grafických karet.
- Váhy
- Closed — provider access only
- Přístup k modelu
- Unreleased
- Tréninkový kód
- Unreleased
Jak je klasifikováno
Labely, které se na zdrojovém datovém souboru používají při sledování významných modelů, a jak moc si je jistý touto položkou.
- Proč je to sledováno
- Highly cited,SOTA improvement
- Záznam důvěry
- Confident
- Citations
- 5,463
"The aligned visual and language representations... set new state-of-the-art results on Flickr30K and MSCOCO image-text retrieval benchmarks"
Zdroje
Odkud tento záznam pochází a kdy byl naposled zkontrolován.
- Odkaz
- Scaling up visual and vision-language representation learning with noisy text supervision
- Naposledy aktualizováno
- 25 May 2026
Co čísla znamenají
O tomto modelu
ALIGN was published by Google Research, in United States of America, in June 2021. The organisation is categorised as industry.
It works in Multimodal, Vision, Language, and is recorded as doing representation learning, Image classification, Image representation.
This is a closed model: the trained values stayed with whoever produced them, and there is no local version to run.
Training and provenance
Producing it required around 2.6 × 10²² FLOP of arithmetic, on Google TPU v3, which is a statement about the training budget rather than about inference.
Around 1,800,000,000 tokens went into training it.
The reason it appears in this catalogue at all is highly cited,SOTA improvement.
Odpovědi
ALIGN — Časté dotazy
What is ALIGN used for?
ALIGN works in Multimodal, Vision, Language, and is recorded as handling representation learning, Image classification, Image representation. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
How much compute was used to train ALIGN?
Around 2.6 × 10²² FLOP, on Google TPU v3. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run ALIGN?
None. ALIGN is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is ALIGN open source?
No. ALIGN has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does ALIGN have?
ALIGN has 820M parameters. From author communication 480M (image tower) + 340 M (text tower). That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created ALIGN?
ALIGN was published by Google Research, based in United States of America, categorised as industry.
When was ALIGN released?
ALIGN was published in June 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
Druhý směr
Když se na to podíváte z druhé strany?
Tato stránka začíná modelem. Pokud již vlastníte kartu a chcete vědět, co vše bude schopna spustit, Začněte raději od hardwaru.