CoCa
Χωρίς εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Τα βάρη αυτού του μοντέλου δεν έχουν δημοσιευθεί, επομένως δεν μπορεί να κατεβεί ή να τρέξει σε δικό σας υλικό οποιουδήποτε μεγέθους. Είναι προσβάσιμο μόνο μέσω του παρόχου του και καμία κάρτα γραφικών δεν το αλλάζει αυτό.
Σε εγγραφή
Πλήρης προδιαγραφή
Όλα τα δεδομένα σχετικά με αυτό το μοντέλο. Τα περισσότερα περιγράφουν πώς εκπαιδεύτηκε παρά πώς τρέχει — χρήσιμο πλαίσιο για την αξιολόγηση του πόσο δουλειά απαιτήθηκε και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα.
Προέλευση
Ποιος δημιούργησε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε;
- Οργάνωση
- Google Research
- Τύπος οργάνωσης
- Industry
- Χώρα
- United States of America
- Δημοσιευμένο
- 14 June 2022
- Συγγραφείς
- Jiahui Yu, Zirui Wang, Vijay Vasudevan, Legg Yeung, Mojtaba Seyedhosseini, Yonghui Wu
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες κατασκευάστηκε το μοντέλο. Ένα μοντέλο μπορεί να περιέχει αρκετές από κάθε μία.
- Τομέας
- Vision
- Εντολή
- Image classification, Visual question answering, Image captioning
- Προσέγγιση
- Self-supervised learning
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα εκπαιδεύτηκε. Οι παράμετροι είναι το νούμερο που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- Παραμέτροι
- 2.1B
- Δεδομένα εκπαίδευσης
- 1,351,680,000,000 tokens
- Εποχές
- 6.88
"Our largest CoCa model ("CoCa" in short) follows the ViT-giant setup in [21] with 1B-parameters in the image encoder and 2.1B-parameters altogether with the text decoder"
JFT is 3 billion captioned images, ALIGN is 1.8 billion captioned images "we use a batch size of 65,536 image-text pairs, where half of each batch comes from JFT and ALIGN, respectively. All models are trained on the combined contrastive and captioning objectives in Eq.(4) for 500k steps, roughly corresponding to 5 epochs on JFT and 10 epochs on ALIGN." (5*3b+10*1.8b)/4.8b=6.875 epochs on average
Υπολογιστική εκπαίδευση
Η αριθμητική που εκτελείται για την εκπαίδευση του μοντέλου, μετρημένη σε αριθμητικές πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της εκπαίδευσης, όχι πόσο γρήγορα απαντά το ολοκληρωμένο μοντέλο.
- Υπολογιστική εκπαίδευση
- 7.3 × 10²² FLOP
- Πώς ιδρύθηκε
- Hardware
"Pretraining CoCa takes about 5 days on 2,048 CloudTPUv4 chips" 275 teraFLOP/s * 2048 * 5 * 24 * 3600 * 0.3 (assumed utilization) = 7.3e22
Η εκπαίδευση
Τι χρειάστηκε φυσικά για να εκπαιδεύσουμε: ποια τσιπ, πόσα, για πόσο καιρό, και τι αυτό τραβούσε από τον τοίχο.
- Εκπαίδευση υλικού
- Google TPU v4
- Τσιπ που χρησιμοποιούνται
- 2,048
- Χρόνος τοίχου
- 120 hours
- Κατανάλωση ενέργειας
- 1.4 MW
- Compute cost
- $78,043
5 days
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το εκτελέσετε στον δικό σας εξοπλισμό, κάτι που αποφασίζει αν κάποια από τα στοιχεία της κάρτας γραφικών σε αυτή τη σελίδα εφαρμόζονται.
- Βάρη
- Closed — provider access only
- Πρόσβαση μοντέλου
- Unreleased
- Κώδικας εκπαίδευσης
- Unreleased
Πώς ταξινομείται
Ετικέτες που εφαρμόζει το πηγαίο σύνολο δεδομένων κατά την παρακολούθηση σημαντικών μοντέλων, και πόσο σίγουρο είναι για την είσοδο.
- Γιατί παρακολουθείται
- SOTA improvement
- Καταγραφή εμπιστοσύνης
- Confident
- Αναφορές
- 1,719
"Notably on ImageNet classification, CoCa obtains 86.3% zero-shot top-1 accuracy, 90.6% with a frozen encoder and learned classification head, and new state-of-the-art 91.0% top-1 accuracy on ImageNet with a finetuned encoder."
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία.
- Αναφορά
- CoCa: Contrastive Captioners are Image-Text Foundation Models
- Τελευταία ενημέρωση
- 25 May 2026
Τι σημαίνουν οι αριθμοί
Ιστορικό
CoCa was published by Google Research, in United States of America, in June 2022. It comes out of industry.
It works in Vision, and is recorded as doing image classification, Visual question answering, Image captioning.
This is a closed model: the trained values stayed with whoever produced them, and there is no local version to run.
Εκπαίδευση και προέλευση
Training it took roughly 7.3 × 10²² FLOP of computation, on Google TPU v4 — a measure of what producing the model cost, not of how fast it answers.
Around 1,351,680,000,000 tokens went into training it.
Its inclusion criterion is sOTA improvement.
Απαντήσεις
CoCa — Συχνές ερωτήσεις
How much compute was used to train CoCa?
Around 7.3 × 10²² FLOP, on Google TPU v4. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run CoCa?
None. CoCa is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is CoCa open source?
No. CoCa has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does CoCa have?
CoCa has 2.1B parameters. "Our largest CoCa model ("CoCa" in short) follows the ViT-giant setup in [21] with 1B-parameters in the image encoder and 2.1B-parameters altogether with the text decoder". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created CoCa?
CoCa was published by Google Research, based in United States of America, categorised as industry.
When was CoCa released?
CoCa was published in June 2022. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is CoCa used for?
CoCa works in Vision, and is recorded as handling image classification, Visual question answering, Image captioning. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
Η άλλη κατεύθυνση
Βλέποντάς το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινάει από το μοντέλο. Αν ήδη διαθέτετε μια κάρτα και θέλετε να γνωρίζετε όλα όσα θα τρέξει, Ξεκινήστε από το υλικό αντί..