Kosmos-1
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- Microsoft
- Τύπος οργανισμού
- Industry
- Χώρα
- United States of America
- Δημοσιευμένο
- 1 March 2023
- Συγγραφείς
- Shaohan Huang, Li Dong, Wenhui Wang, Yaru Hao, Saksham Singhal, Shuming Ma, Tengchao Lv, Lei Cui, Owais Khan Mohammed, Barun Patra, Qiang Liu, Kriti Aggarwal, Zewen Chi, Johan Bjorck, Vishrav Chaudhary, Subhojit Som, Xia Song, Furu Wei
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Multimodal, Language, Vision
- Εργασία
- Visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles
- Βασικό μοντέλο
- ViT-G/14 (LiT)
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- παράμετροι
- 1.6B
- Δεδομένα εκπαίδευσης
- 360,000,000,000 tokens
- Μέγεθος παρτίδας
- 1,200,000
"The total number of parameters of KOSMOS-1 is about 1.6B" "The MLLM component has 24 layers with 2,048 hidden dimensions, 8,192 FFN intermediate size, and 32 attention heads, resulting in about 1.3B parameters."
"We use a batch size of 1.2 million tokens (0.5 million tokens from text corpora, 0.5 million tokens from image-caption pairs, and 0.2 million tokens from interleaved data) and train KOSMOS-1 for 300k steps, corresponding to about 360 billion tokens."
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 3.5 × 10²¹ FLOP
- Πώς ιδρύθηκε
- Operation counting
6 FLOP / parameter / token * 1.6 * 10^9 parameters [assuming all parameters were updated each step including vision encoder] * 360 * 10^9 tokens = 3.456e+21 FLOP "Likely" confidence because the number of trained parameters could be slightly less
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το τρέξετε στο δικό σας υλικό, το οποίο αποφασίζει αν οποιαδήποτε από τις αριθμούς της κάρτας γραφικών σε αυτή τη σελίδα ισχύει.
- Βάρη
- Closed — provider access only
- Πρόσβαση μοντέλου
- Unreleased
- Κωδικός εκπαίδευσης
- Unreleased
MIT license https://github.com/microsoft/unilm/tree/master/kosmos-1 (repo refers to code and weights of Kosmos-2, not Kosmos-1)
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Εγγραφή εμπιστοσύνης
- Likely
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- Language Is Not All You Need: Aligning Perception with Language Models
- Τελευταία ενημέρωση
- 28 November 2025
Τι σημαίνουν οι αριθμοί
Σχετικά με αυτό το μοντέλο
Kosmos-1 δημοσιεύθηκε από Microsoft, στην χώρα καταγεγραμμένη ως United States of America, κατά τη διάρκεια March 2023. Η κατηγορία στην οποία υπάγεται ο εκδότης είναι industry.
Λειτουργεί στον τομέα της Multimodal, Language, Vision, και καταγράφεται ότι εκτελεί την εργασία του visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles.
Βασίζεται σε ViT-G/14 (LiT). Οι περισσότεροι μοντέλα σε αυτή την κλίμακα προσαρμόζονται από μια υπάρχουσα βάση παρά κατασκευάζονται από το μηδέν.
Επειδή τα WEIGHTS δεν είναι διαθέσιμα, κανένα από τα figures του HARDWARE αλλού σε αυτό το SITE δεν ισχύει γι' αυτό.
Εκπαίδευση και προελεύσεις
Η εκπαιδευτική εκτέλεση καταναλώνει περίπου 3.5 × 10²¹ FLOP. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Το σύνολο εκπαίδευσης εκτελέστηκε σε περίπου 360,000,000,000 κωδικοί κειμένου
Απαντήσεις
Kosmos-1 — κοινές ερωτήσεις
Kosmos-1— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 3.5 × 10²¹ FLOP. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
Kosmos-1— ποια GPU χρειάζομαι για να το τρέξω;
Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.
Kosmos-1— είναι ανοιχτού κώδικα;
Όχι. Τα βάρη του δεν έχουν δημοσιευθεί, οπότε υπάρχει μόνο ως υπηρεσία που ελέγχεται από τον ιδιοκτήτη του.
Kosmos-1— πόσες παραμέτρους έχει;
Έχει αριθμό παραμέτρων 1.6B. "The total number of parameters of KOSMOS-1 is about 1.6B" "The MLLM component has 24 layers with 2,048 hidden dimensions, 8,192 FFN intermediate size, and 32 attention heads, resulting in about 1.3B parameters.". Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.
Kosmos-1— ποιος το δημιούργησε;
Δημοσιεύθηκε από Microsoft, βασισμένο σε United States of America, μία οργάνωση κατηγοριοποιημένη ως industry.
Kosmos-1— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε March 2023. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
Kosmos-1— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Multimodal, Language, Vision, και καταγράφεται ως διαχείριση της εργασίας του visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.