MoE-Multi
Žádný odhad
Žádné hardwarové požadavky pro tento model
Hmotnosti pro tento model nebyly zveřejněny, takže jej nelze stáhnout ani spustit na vlastním hardwaru v žádné velikosti. Je dostupný pouze prostřednictvím svého poskytovatele, a žádná změna grafické karty to nezmění..
Na záznamu
Plná specifikace
Všechno o tomto modelu v záznamech. Většina z toho popisuje, jak byl trénován, spíše než jak funguje — užitečný kontext pro posouzení, kolik práce do něj bylo vynaloženo, a jak se srovnává s modely postavenými na jiné úrovni..
Původ
Kdo vytvořil tento model, kde a kdy byl publikován.
- Organizace
- Jagiellonian University,Google Brain
- Typ organizace
- Academia,Industry
- Země
- Poland, United States of America
- Publikováno
- 23 January 2017
- Autoři
- N Shazeer, A Mirhoseini, K Maziarz, A Davis
Co to dělá
Problémové oblasti, pro které byl model vytvořen. Model může obsahovat několik z každého.
- Doména
- Language
- Úkol
- Language modeling, Translation
- Číselný formát
- FP32
Velikost
Jak velký je model a kolik dat byl trénován. Parametry jsou číslo, které rozhoduje, zda se vejde na danou grafickou kartu.
- parametry
- 8.7B
- Výcviková data
- 87,000,000,000 tokens
- Epochy
- 10
- Velikost dávky
- 1,365,333
Table 5 https://arxiv.org/abs/1701.06538
"We constructed a similar training set consisting of shuffled unique sentences from Google’s internal news corpus, totalling roughly 100 billion words" Assuming 100 words = 133 tokens
"Training was done synchronously on a cluster of up to 64 GPUs as described in section 3. Each training batch consisted of a set of sentence pairs containing roughly 16000 words per GPU." Although they appear to use word-level tokenization in other experiments, here they use subword tokens: "Similar to GNMT, to effectively deal with rare words, we used subword units (also known as “wordpieces") (Schuster & Nakajima, 2012) for inputs and outputs in our system." In total 64 GPUs * 16k words/GPU * …
Výpočty pro trénink
Aritmetika prováděná k trénování modelu, měřená v operacích s plovoucí desetinnou čárkou. Je to měřítko toho, kolik stál tréninkový běh, ne jak rychle hotový model na vás odpovídá.
- Výpočty pro trénink
- 9.4 × 10¹⁹ FLOP
- Jak bylo ustanoveno
- Hardware
12 days 64 NVIDIA K40 GPUs (see hardware data sheet for performance) 0.33 util rate
Tréninkový běh
Co fyzicky vyžadovalo trénování: které čipy, kolik, jak dlouho a co to vyžadovalo ze zásuvky.
- Tréninkový hardware
- NVIDIA Tesla K40t
- Používané čipy
- 64
- Doba reálného času
- 288 hours (12 days)
- Příkon
- 32.9 kW
- Náklady na výpočet
- $3,874
12 days
Dostupnost
Zda můžete získat model a spustit ho na svém vlastním hardwaru, což rozhoduje o tom, zda se některé z čísel grafických karet na této stránce vztahují.
- Hmotnosti
- Closed — provider access only
- Přístup k modelu
- Unreleased
Jak je to klasifikováno
Štítky aplikačních datových sad, které se používají při sledování významných modelů, a jak jistý je ve záznamu.
- Proč je to sledováno
- Highly cited,SOTA improvement,Historical significance
- Záznam důvěry
- Confident
- Citace
- 4,587
"On large language modeling and machine translation benchmarks, these models achieve significantly better results than state-of-the-art at lower computational cost"
Žrovy
Odkud tento záznam pochází a kdy byl naposledy zkontrolován.
- Reference
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
- Nap poslední aktualizace
- 25 May 2026
Co čísla znamenají
O tomto modelu
MoE-Multi byl zveřejněn Jagiellonian University,Google Brain, v zemi zaznamenané jako Poland, během January 2017. Vydavatelská organizace je kategorizována jako academia,Industry.
funguje v oblasti Language, a je zaznamenán jako vykonávající úkol language modeling, Translation.
Protože váhy nejsou k dispozici, žádné z hardwarových údajů na tomto webu se na něj nevztahují.
Jak bylo trénováno
Trénování si vyžádalo výpočetní rozpočet přibližně 9.4 × 10¹⁹ FLOP, na hardwaru zaznamenáno jako NVIDIA Tesla K40t. Tato částka měří, kolik stál výroba modelu, a nemá žádný vliv na to, jak rychle odpovídá.
Trénink spotřeboval korpus kolem 87,000,000,000 tokeny textu
Je sledováno v základním datasetu z jednoho konkrétního důvodu: highly cited,SOTA improvement,Historical significance.
Odpovědi
MoE-Multi — běžné otázky
MoE-Multi— Jakou GPU potřebuji k jejímu spuštění?
Žádné. Toto je uzavřený model — jeho váhy nikdy nebyly zveřejněny, takže jej nelze stáhnout nebo spustit na vlastním hardwaru za žádnou cenu. Je dostupný pouze prostřednictvím jeho poskytovatele.
MoE-Multi— Je to OPEN SOURCE?
Ne. Jeho váhy nebyly zveřejněny, takže existuje pouze jako služba řízená jeho vlastníkem.
MoE-Multi— kolik má parametrů?
Má počet parametrů 8.7B. Table 5 https://arxiv.org/abs/1701.06538. Tato cifra je celková a rozhoduje o tom, kolik VRAM model potřebuje — přibližně půl gigabajtu na miliardu při kompresi, kterou většina lidí používá.
MoE-Multi— Kdo to vytvořil?
Bylo to publikováno společností Jagiellonian University,Google Brain, zakládající se na Poland, organizace zařazená jako academia,Industry.
MoE-Multi— Kdy byl vydán?
Bylo to zveřejněno v January 2017. Schopnost na parametr se od té doby výrazně zlepšila, takže novější model stejné velikosti je často lepším využitím stejného hardwaru.
MoE-Multi— K čemu se to používá?
funguje v oblasti Language, a je zaznamenáno jako zpracovávající úkol language modeling, Translation. Toto jsou oblasti, kolem nichž byl navržen; popisují záměr spíše než tvrdou hranici.
MoE-Multi— kolik výpočetního výkonu bylo použito k jeho trénování?
Trénink spotřeboval kolem 9.4 × 10¹⁹ FLOP, na hardwaru zaznamenáno jako NVIDIA Tesla K40t. To měří, co stálo výrobu modelu, a neříká nic o tom, jak rychle odpovídá po natrénování — rychlost inferencí závisí na šířce pásma paměti, nikoli na rozpočtu na trénink.
Druhý směr
Díváte se na to z druhé strany?
Tato stránka začíná od modelu. Pokud již vlastníte kartu a chcete vědět všechno, co bude spuštěno, začněte raději od hardwaru.