Kosmos-1
Brak szacunków
Brak wymagań sprzętowych dla tego modelu
Wagi tego modelu nie zostały opublikowane, dlatego nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny wyłącznie poprzez jego dostawcę, a żadna karta graficzna tego nie zmieni.
Na nagraniu
Pełna specyfikacja
Wszystko, co jest dostępne na temat tego modelu. Większość z tego opisuje, jak został wytrenowany, a nie jak działa — przydatny kontekst do oceny, ile pracy w to włożono i jak wypada na tle modeli zbudowanych na innym poziomie skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- Microsoft
- Typ organizacji
- Industry
- Kraj
- United States of America
- Opublikowane
- 1 March 2023
- Autorzy
- Shaohan Huang, Li Dong, Wenhui Wang, Yaru Hao, Saksham Singhal, Shuming Ma, Tengchao Lv, Lei Cui, Owais Khan Mohammed, Barun Patra, Qiang Liu, Kriti Aggarwal, Zewen Chi, Johan Bjorck, Vishrav Chaudhary, Subhojit Som, Xia Song, Furu Wei
Co to robi
Obszary problemowe, dla których stworzono model. Model może zawierać kilka z każdej.
- Domena
- Multimodal, Language, Vision
- Zadanie
- Visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles
- Model bazowy
- ViT-G/14 (LiT)
Rozmiar
Jakiej wielkości jest model i na ile danych był szkolony. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- Parametry
- 1.6B
- Dane treningowe
- 360,000,000,000 tokens
- Batch size
- 1,200,000
"The total number of parameters of KOSMOS-1 is about 1.6B" "The MLLM component has 24 layers with 2,048 hidden dimensions, 8,192 FFN intermediate size, and 32 attention heads, resulting in about 1.3B parameters."
"We use a batch size of 1.2 million tokens (0.5 million tokens from text corpora, 0.5 million tokens from image-caption pairs, and 0.2 million tokens from interleaved data) and train KOSMOS-1 for 300k steps, corresponding to about 360 billion tokens."
Obliczenia szkoleniowe
Aritmetyka wykonywana w celu wytrenowania modelu, mierzone w operacjach zmiennoprzecinkowych. Jest to miara kosztu przeprowadzonego treningu, a nie tego, jak szybko gotowy model odpowiada na twoje zapytania.
- Obliczenia szkoleniowe
- 3.5 × 10²¹ FLOP
- Jak to zostało ustalone
- Operation counting
6 FLOP / parameter / token * 1.6 * 10^9 parameters [assuming all parameters were updated each step including vision encoder] * 360 * 10^9 tokens = 3.456e+21 FLOP "Likely" confidence because the number of trained parameters could be slightly less
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim własnym sprzęcie, co decyduje, czy jakiekolwiek z danych dotyczących karty graficznej na tej stronie mają zastosowanie.
- Wagi
- Closed — provider access only
- Dostęp do modelu
- Unreleased
- Kod treningowy
- Unreleased
MIT license https://github.com/microsoft/unilm/tree/master/kosmos-1 (repo refers to code and weights of Kosmos-2, not Kosmos-1)
Jak jest klasyfikowane
Etykiety stosowane przez źródłowy zbiór danych podczas śledzenia znaczących modeli oraz jak pewny jest w danym wpisie.
- Zaufanie do nagrania
- Likely
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- Language Is Not All You Need: Aligning Perception with Language Models
- Ostatnia aktualizacja
- 28 November 2025
Co oznaczają liczby
O tym modelu
Kosmos-1 was published by Microsoft, in United States of America, in March 2023. industry is the category the publisher falls under.
It works in Multimodal, Language, Vision, and is recorded as doing visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles.
It builds on ViT-G/14 (LiT), which is why it shares that model's general shape and size.
Because the weights are not available, none of the hardware figures elsewhere on this site apply to it.
Training and provenance
The training run consumed about 3.5 × 10²¹ FLOP. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
The training set ran to roughly 360,000,000,000 tokens.
Odpowiedzi
Kosmos-1 — Często zadawane pytania
How much compute was used to train Kosmos-1?
Around 3.5 × 10²¹ FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Kosmos-1?
None. Kosmos-1 is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Kosmos-1 open source?
No. Kosmos-1 has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Kosmos-1 have?
Kosmos-1 has 1.6B parameters. "The total number of parameters of KOSMOS-1 is about 1.6B" "The MLLM component has 24 layers with 2,048 hidden dimensions, 8,192 FFN intermediate size, and 32 attention heads, resulting in about 1.3B parameters.". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Kosmos-1?
Kosmos-1 was published by Microsoft, based in United States of America, categorised as industry.
When was Kosmos-1 released?
Kosmos-1 was published in March 2023. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Kosmos-1 used for?
Kosmos-1 works in Multimodal, Language, Vision, and is recorded as handling visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
W innym kierunku
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, wszystko co będzie ona obsługiwać, Rozpocznij od sprzętu..