CoCa
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul vostro hardware a qualsiasi dimensione. È accessibile solo attraverso il suo fornitore, e nessuna scheda grafica può cambiare questo.
In registrazione
Specifiche complete
Tutto ciò che riguarda questo modello. La maggior parte delle informazioni descrive come è stato addestrato piuttosto che come viene eseguito — un contesto utile per valutare la quantità di lavoro impiegata e come si confronta con modelli realizzati su scala diversa.
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Google Research
- Tipo di organizzazione
- Industry
- Paese
- United States of America
- Pubblicato
- 14 June 2022
- Autori
- Jiahui Yu, Zirui Wang, Vijay Vasudevan, Legg Yeung, Mojtaba Seyedhosseini, Yonghui Wu
Cosa fa
Le aree problematiche per cui è stato costruito il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Vision
- Compito
- Image classification, Visual question answering, Image captioning
- Approach
- Self-supervised learning
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono il valore che decide se si adatta a una determinata scheda grafica.
- Parametri
- 2.1B
- Dati di addestramento
- 1,351,680,000,000 tokens
- Epoche
- 6.88
"Our largest CoCa model ("CoCa" in short) follows the ViT-giant setup in [21] with 1B-parameters in the image encoder and 2.1B-parameters altogether with the text decoder"
JFT is 3 billion captioned images, ALIGN is 1.8 billion captioned images "we use a batch size of 65,536 image-text pairs, where half of each batch comes from JFT and ALIGN, respectively. All models are trained on the combined contrastive and captioning objectives in Eq.(4) for 500k steps, roughly corresponding to 5 epochs on JFT and 10 epochs on ALIGN." (5*3b+10*1.8b)/4.8b=6.875 epochs on average
Addestramento computazionale
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto costato l'addestramento, non di quanto velocemente il modello finito ti risponde.
- Addestramento computazionale
- 7.3 × 10²² FLOP
- Come è stato stabilito
- Hardware
"Pretraining CoCa takes about 5 days on 2,048 CloudTPUv4 chips" 275 teraFLOP/s * 2048 * 5 * 24 * 3600 * 0.3 (assumed utilization) = 7.3e22
Il training run
Cosa è stato fisicamente necessario per addestrare: quali chip, quanti, per quanto tempo e cosa ha richiesto dalla rete elettrica.
- Hardware di addestramento
- Google TPU v4
- Chips used
- 2,048
- Tempo di orologio muro
- 120 hours
- Consumo energetico
- 1.4 MW
- Compute cost
- $78,043
5 days
Disponibilità
Se puoi ottenere il modello e eseguirlo sul tuo hardware, il che decide se una delle cifre della scheda grafica su questa pagina si applica.
- Pesi
- Closed — provider access only
- Accesso al modello
- Unreleased
- Codice di addestramento
- Unreleased
Come è classificato
Etichette che il dataset sorgente applica quando si monitorano modelli notevoli e quanto è fiducioso nell'entry.
- Perché viene tracciato
- SOTA improvement
- Registrare fiducia
- Confident
- Citations
- 1,719
"Notably on ImageNet classification, CoCa obtains 86.3% zero-shot top-1 accuracy, 90.6% with a frozen encoder and learned classification head, and new state-of-the-art 91.0% top-1 accuracy on ImageNet with a finetuned encoder."
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- CoCa: Contrastive Captioners are Image-Text Foundation Models
- Ultimo aggiornamento
- 25 May 2026
Cosa significano i numeri
Background
CoCa was published by Google Research, in United States of America, in June 2022. It comes out of industry.
It works in Vision, and is recorded as doing image classification, Visual question answering, Image captioning.
This is a closed model: the trained values stayed with whoever produced them, and there is no local version to run.
Training and provenance
Training it took roughly 7.3 × 10²² FLOP of computation, on Google TPU v4 — a measure of what producing the model cost, not of how fast it answers.
Around 1,351,680,000,000 tokens went into training it.
Its inclusion criterion is sOTA improvement.
Risposte
CoCa — Domande frequenti
How much compute was used to train CoCa?
Around 7.3 × 10²² FLOP, on Google TPU v4. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run CoCa?
None. CoCa is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is CoCa open source?
No. CoCa has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does CoCa have?
CoCa has 2.1B parameters. "Our largest CoCa model ("CoCa" in short) follows the ViT-giant setup in [21] with 1B-parameters in the image encoder and 2.1B-parameters altogether with the text decoder". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created CoCa?
CoCa was published by Google Research, based in United States of America, categorised as industry.
When was CoCa released?
CoCa was published in June 2022. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is CoCa used for?
CoCa works in Vision, and is recorded as handling image classification, Visual question answering, Image captioning. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
L'altra direzione
Guardando la questione dall'altra parte?
Questa pagina inizia dal modello. Se possedete già una scheda e desiderate conoscere tutto ciò che può eseguire, inizia dall'hardware invece.