MetaLM
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Microsoft Research
- Szervezet típusa
- Industry
- Ország
- United States of America
- Közölt
- 13 June 2022
- Szerzők
- Yaru Hao, Haoyu Song, Li Dong, Shaohan Huang, Zewen Chi, Wenhui Wang, Shuming Ma, Furu Wei
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Multimodal, Language, Vision
- Feladat
- Language modeling, Visual question answering, Language modeling/generation, Image captioning
- Megközelítés
- Self-supervised learning
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Képzési adatok
- 646,707,200,000 tokens
- Tételméret
- 2,097,152
1024 * 2048 - "The maximum input lengths for non-causal and semi-causal models are 512 and 2048, respectively." (Sec. 3.2, p. 9) and "We pretrain METALM for 300k steps with a batch size of 1024"
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Unreleased
I don't see neither code nor weights here https://github.com/microsoft/unilm/tree/master/metalm
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Valószínűleg 10²³ FLOP felett
- Yes
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Speculative
- Hivatkozások
- 110
Abstract: "Experimental results across various language-only and vision-language benchmarks show that our model outperforms or is competitive with specialized models on finetuning, zero-shot generalization, and few-shot learning." "Table 7 and Table 8 show the zero-shot captioning results on COCO Karpathy test split, NoCaps validation set, and Flickr30k test set. METALM outperforms recent strong methods on three image captioning datasets." Table 12
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Language Models are General-Purpose Interfaces
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Háttér
MetaLM ki lett adva által Microsoft Research, az országban rögzítve mint United States of America, alatt June 2022. Egy olyan szervezetből származik, amelyet kategorizálnak mint industry.
Működik a területen a Multimodal, Language, Vision, és úgy van rögzítve, mint a feladat végrehajtása language modeling, Visual question answering, Language modeling/generation, Image captioning.
Súlyait soha nem tették közzé, így csak a szolgáltatóján keresztül érhető el. Nincs grafikus kártya, ami ezt megváltoztatná.
Képzés és származás
Körülbelül egy korpuszon lett betanítva 646,707,200,000 szöveg tokenjei
Az oka, hogy egyáltalán megjelenik ebben a katalógusban: sOTA improvement.
Válaszok
MetaLM — gyakori kérdések
MetaLM— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
MetaLM— Hány paramétere van?
Nincs közzétéve paraméterszám, ezért ez az oldal nem tartalmaz memóriával vagy sebességgel kapcsolatos adatokat.
MetaLM— Ki készítette ezt?
Kiadta Microsoft Research, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry.
MetaLM— Mikor adták ki?
Kibocsátották a June 2022. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
MetaLM— Mire használják?
Működik a területen a Multimodal, Language, Vision, és rögzítve van, hogy kezeli a feladatot language modeling, Visual question answering, Language modeling/generation, Image captioning. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
MetaLM— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..