MetaLM
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- Microsoft Research
- Organisationstyp
- Industry
- Land
- United States of America
- Veröffentlicht
- 13 June 2022
- Autoren
- Yaru Hao, Haoyu Song, Li Dong, Shaohan Huang, Zewen Chi, Wenhui Wang, Shuming Ma, Furu Wei
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Multimodal, Language, Vision
- Aufgabe
- Language modeling, Visual question answering, Language modeling/generation, Image captioning
- Ansatz
- Self-supervised learning
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Trainingsdaten
- 646,707,200,000 tokens
- Batchgröße
- 2,097,152
1024 * 2048 - "The maximum input lengths for non-causal and semi-causal models are 512 and 2048, respectively." (Sec. 3.2, p. 9) and "We pretrain METALM for 300k steps with a batch size of 1024"
Verfügbarkeit
Ob Sie das Modell erhalten und es auf Ihrer eigenen Hardware ausführen können, entscheidet darüber, ob eine der Grafikkartenfiguren auf dieser Seite zutrifft.
- Gewichte
- Closed — provider access only
- Modellzugang
- Unreleased
- Trainingscode
- Unreleased
I don't see neither code nor weights here https://github.com/microsoft/unilm/tree/master/metalm
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Wahrscheinlich über 10²³ FLOP
- Yes
- Warum es nachverfolgt wird
- SOTA improvement
- Aufzeichnungszuversicht
- Speculative
- Zitationen
- 110
Abstract: "Experimental results across various language-only and vision-language benchmarks show that our model outperforms or is competitive with specialized models on finetuning, zero-shot generalization, and few-shot learning." "Table 7 and Table 8 show the zero-shot captioning results on COCO Karpathy test split, NoCaps validation set, and Flickr30k test set. METALM outperforms recent strong methods on three image captioning datasets." Table 12
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- Language Models are General-Purpose Interfaces
- Zuletzt aktualisiert
- 25 May 2026
Was die Zahlen bedeuten
Hintergrund
MetaLM was published by Microsoft Research, in United States of America, in June 2022. It comes out of industry.
It works in Multimodal, Language, Vision, and is recorded as doing language modeling, Visual question answering, Language modeling/generation, Image captioning.
Seine Gewichte wurden nie veröffentlicht, daher kann es nur über seinen Anbieter erreicht werden. Keine Grafikkarte ändert das.
Training und Herkunft
It was trained on about 646,707,200,000 tokens of text.
Der Grund, warum es überhaupt in diesem Katalog erscheint, ist sOTA-Verbesserung.
Antworten
MetaLM — Häufig gestellte Fragen
Is MetaLM open source?
No. MetaLM has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does MetaLM have?
No parameter count has been published for MetaLM, which is why no memory or speed figure appears on this page.
Who created MetaLM?
MetaLM was published by Microsoft Research, based in United States of America, categorised as industry.
When was MetaLM released?
MetaLM was published in June 2022. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is MetaLM used for?
MetaLM works in Multimodal, Language, Vision, and is recorded as handling language modeling, Visual question answering, Language modeling/generation, Image captioning. These are the areas it was designed around; they describe intent rather than a hard boundary.
What GPU do I need to run MetaLM?
None. MetaLM is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.