MM1-30B
Žádný odhad
Žádné hardwareové požadavky na tento model
Hmotnosti tohoto modelu nebyly publikovány, takže jej nelze stáhnout ani spustit na vlastním hardwaru v jakékoli velikosti. Je dostupný pouze prostřednictvím svého poskytovatele a žádná grafická karta to nezmění..
Záznam.
Plná specifikace
Všechno zaznamenané k tomuto modelu. Většina z toho popisuje, jak byl trénován, nikoli jak běží — užitečný kontext pro posouzení, kolik práce do něj bylo vloženo, a jak se srovnává s modely postavenými na jinou škálu.
Původ
Kdo vybudoval tento model, kde a kdy byl publikován.
- Organizace
- Apple
- Typ organizace
- Industry
- Země
- United States of America
- Publikováno
- 14 March 2024
- Autoři
- Brandon McKinzie, Zhe Gan, Jean-Philippe Fauconnier, Sam Dodge, Bowen Zhang, Philipp Dufter, Dhruti Shah, Xianzhi Du, Futang Peng, Floris Weers, Anton Belyi, Haotian Zhang, Karanjeet Singh, Doug Kang, Ankur Jain, Hongyu Hè, Max Schwarzer, Tom Gunter, Xiang Kong, Aonan Zhang, Jianyu Wang, Chong Wang, Nan Du, Tao Lei, Sam Wiseman, Guoli Yin, Mark Lee, Zirui Wang, Ruoming Pang, Peter Grasch, Alexande…
Co to dělá
Problémové oblasti, pro které byl model vyvinut. Model může obsahovat několik z každého.
- Doména
- Multimodal, Language, Vision
- Úkol
- Chat, Image captioning, Visual question answering
Velikost
Jak velký je model a na kolik dat byl vytrénován. Parametry jsou číslo, které rozhoduje o tom, zda se vejde na danou grafickou kartu.
- Parametry
- 30B
- Tréninková data
- tokens
30B
at least 2T tokens
Výpočet trénování
Aritmetika prováděná k trénování modelu, měřená v operacích s plovoucí desetinnou čárkou. Je to měřítko toho, kolik stál trénink, nikoli jak rychle hotový model na vás odpovídá.
- Výpočet trénování
- 4.9 × 10²³ FLOP
- Jak bylo založeno
- Operation counting
Pre-trained on ~2B image-text pairs and 2T tokens (Table 2). Each image is 144 tokens, so the images are ~300B tokens. Then additional multimodal training for 400B tokens, for a total of ~2.7T tokens. This is the final training recipe: "We initialize both the image encoder and the underlying LLM decoder weights for MM1 from in-house pre-trained models2. We then perform multimodal pre-training on the above data mix for 200k steps (approx. 400B tokens)." Compute = 6ND = 6 * 2.7 trillion * 30 bi…
Dostupnost
Zda můžete získat model a spustit ho na svém vlastním hardwaru, což rozhoduje o tom, zda se na tuto stránku vztahují jakákoliv čísla grafických karet.
- Váhy
- Closed — provider access only
- Přístup k modelu
- Unreleased
- Tréninkový kód
- Unreleased
Jak je klasifikováno
Labely, které se na zdrojovém datovém souboru používají při sledování významných modelů, a jak moc si je jistý touto položkou.
- Pravděpodobně nad 10²³ FLOP
- Yes
- Proč je to sledováno
- SOTA improvement
- Záznam důvěry
- Likely
- Citace
- 266
"In particular, the pretrained model MM1 is SOTA, performing better than Emu2 [105], Flamingo [3], and IDEFICS [47] on captioning and visual question answering (VQA) tasks in few-shot settings, both in small and large size regimes" Table 4: outperforms Gemini and GPT-4V on VQA
Zdroje
Odkud tento záznam pochází a kdy byl naposled zkontrolován.
- Odkaz
- MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training
- Naposledy aktualizováno
- 25 May 2026
Co čísla znamenají
Pozadí
MM1-30B was published by Apple, in United States of America, in March 2024. The organisation is categorised as industry.
It works in Multimodal, Language, Vision, and is recorded as doing chat, Image captioning, Visual question answering.
Because the weights are not available, none of the hardware figures elsewhere on this site apply to it.
Co bylo zapotřebí k jeho vybudování
Producing it required around 4.9 × 10²³ FLOP of arithmetic, which is a statement about the training budget rather than about inference.
The reason it appears in this catalogue at all is sOTA improvement.
Odpovědi
MM1-30B — Časté dotazy
How much compute was used to train MM1-30B?
Around 4.9 × 10²³ FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run MM1-30B?
None. MM1-30B is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is MM1-30B open source?
No. MM1-30B has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does MM1-30B have?
MM1-30B has 30B parameters. 30B. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created MM1-30B?
MM1-30B was published by Apple, based in United States of America, categorised as industry.
When was MM1-30B released?
MM1-30B was published in March 2024. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is MM1-30B used for?
MM1-30B works in Multimodal, Language, Vision, and is recorded as handling chat, Image captioning, Visual question answering. These are the areas it was designed around; they describe intent rather than a hard boundary.
Druhý směr
Když se na to podíváte z druhé strany?
Tato stránka začíná modelem. Pokud již vlastníte kartu a chcete vědět, co vše bude schopna spustit, Začněte raději od hardwaru.