Kosmos-1
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- Microsoft
- Organisationstyp
- Industry
- Land
- United States of America
- Veröffentlicht
- 1 March 2023
- Autoren
- Shaohan Huang, Li Dong, Wenhui Wang, Yaru Hao, Saksham Singhal, Shuming Ma, Tengchao Lv, Lei Cui, Owais Khan Mohammed, Barun Patra, Qiang Liu, Kriti Aggarwal, Zewen Chi, Johan Bjorck, Vishrav Chaudhary, Subhojit Som, Xia Song, Furu Wei
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Multimodal, Language, Vision
- Aufgabe
- Visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles
- Basis-Modell
- ViT-G/14 (LiT)
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Parameter
- 1.6B
- Trainingsdaten
- 360,000,000,000 tokens
- Batchgröße
- 1,200,000
"The total number of parameters of KOSMOS-1 is about 1.6B" "The MLLM component has 24 layers with 2,048 hidden dimensions, 8,192 FFN intermediate size, and 32 attention heads, resulting in about 1.3B parameters."
"We use a batch size of 1.2 million tokens (0.5 million tokens from text corpora, 0.5 million tokens from image-caption pairs, and 0.2 million tokens from interleaved data) and train KOSMOS-1 for 300k steps, corresponding to about 360 billion tokens."
Training-Computing
Die zur Ausbildung des Modells durchgeführte Arithmetik, gemessen in Gleitkommaoperationen. Es ist ein Maß dafür, was der Trainingslauf gekostet hat, nicht wie schnell das fertige Modell Ihnen antwortet.
- Training-Computing
- 3.5 × 10²¹ FLOP
- Wie es etabliert wurde
- Operation counting
6 FLOP / parameter / token * 1.6 * 10^9 parameters [assuming all parameters were updated each step including vision encoder] * 360 * 10^9 tokens = 3.456e+21 FLOP "Likely" confidence because the number of trained parameters could be slightly less
Verfügbarkeit
Ob Sie das Modell erhalten und es auf Ihrer eigenen Hardware ausführen können, entscheidet darüber, ob eine der Grafikkartenfiguren auf dieser Seite zutrifft.
- Gewichte
- Closed — provider access only
- Modellzugang
- Unreleased
- Trainingscode
- Unreleased
MIT license https://github.com/microsoft/unilm/tree/master/kosmos-1 (repo refers to code and weights of Kosmos-2, not Kosmos-1)
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Aufzeichnungszuversicht
- Likely
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- Language Is Not All You Need: Aligning Perception with Language Models
- Zuletzt aktualisiert
- 28 November 2025
Was die Zahlen bedeuten
Über dieses Modell
Kosmos-1 was published by Microsoft, in United States of America, in March 2023. industry is the category the publisher falls under.
It works in Multimodal, Language, Vision, and is recorded as doing visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles.
It builds on ViT-G/14 (LiT), which is why it shares that model's general shape and size.
Da die Gewichte nicht verfügbar sind, gelten keine der Hardwareangaben an anderer Stelle auf dieser Seite für sie.
Training und Herkunft
The training run consumed about 3.5 × 10²¹ FLOP. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
The training set ran to roughly 360,000,000,000 tokens.
Antworten
Kosmos-1 — Häufig gestellte Fragen
How much compute was used to train Kosmos-1?
Around 3.5 × 10²¹ FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Kosmos-1?
None. Kosmos-1 is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Kosmos-1 open source?
No. Kosmos-1 has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Kosmos-1 have?
Kosmos-1 has 1.6B parameters. "The total number of parameters of KOSMOS-1 is about 1.6B" "The MLLM component has 24 layers with 2,048 hidden dimensions, 8,192 FFN intermediate size, and 32 attention heads, resulting in about 1.3B parameters.". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Kosmos-1?
Kosmos-1 was published by Microsoft, based in United States of America, categorised as industry.
When was Kosmos-1 released?
Kosmos-1 was published in March 2023. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Kosmos-1 used for?
Kosmos-1 works in Multimodal, Language, Vision, and is recorded as handling visual question answering, Image captioning, Language modeling/generation, Chat, Question answering, Document classification, Image classification, Visual puzzles. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.