RNN 1000/5 + RT09 LM (NIST RT05)
Žádný odhad
Žádné hardwarové požadavky pro tento model
Hmotnosti pro tento model nebyly zveřejněny, takže jej nelze stáhnout ani spustit na vlastním hardwaru v žádné velikosti. Je dostupný pouze prostřednictvím svého poskytovatele, a žádná změna grafické karty to nezmění..
Na záznamu
Plná specifikace
Všechno o tomto modelu v záznamech. Většina z toho popisuje, jak byl trénován, spíše než jak funguje — užitečný kontext pro posouzení, kolik práce do něj bylo vynaloženo, a jak se srovnává s modely postavenými na jiné úrovni..
Původ
Kdo vytvořil tento model, kde a kdy byl publikován.
- Organizace
- Brno University of Technology,Johns Hopkins University
- Typ organizace
- Academia,Academia
- Země
- Czechia, United States of America
- Publikováno
- 26 September 2010
- Autoři
- T. Mikolov, M. Karafiat, L. Burget, J. Cernocky, and S. Khudanpur
Co to dělá
Problémové oblasti, pro které byl model vytvořen. Model může obsahovat několik z každého.
- Doména
- Speech
- Úkol
- Speech recognition (ASR), Transcription
- Přístup
- Supervised
Velikost
Jak velký je model a kolik dat byl trénován. Parametry jsou číslo, které rozhoduje, zda se vejde na danou grafickou kartu.
- parametry
- 77M
- Výcviková data
- 5,400,000 tokens
- Epochy
- 20
"The acoustic HMMs are based on cross-word tied-states triphones trained discriminatively using MPE criteria. Feature extraction use 13 Mel-PLP’s features with deltas, double and triple deltas reduced by HLDA to 39-dimension feature vector" RNN 1000/5 indicates that the model has a 1000 units in the hidden layer and merges words that occur less than 5 times in the training set. Section 4.2 in this paper appears to indicate that NIST RT05 has a vocabulary of 50k words: https://www.fit.vut.cz/pe…
"Table 4: Comparison of very large back-off LMs and RNN LMs trained only on limited in-domain data (5.4M words)."
Výpočty pro trénink
Aritmetika prováděná k trénování modelu, měřená v operacích s plovoucí desetinnou čárkou. Je to měřítko toho, kolik stál tréninkový běh, ne jak rychle hotový model na vás odpovídá.
- Výpočty pro trénink
- 5 × 10¹⁶ FLOP
- Jak bylo ustanoveno
- Operation counting
"Convergence is usually achieved after 10-20 epochs." Assuming a backward-forward ratio of 2:1, since this is a shallow network 6 * 77039000 * 5.4M * 20 = 5.00e16
Tréninkový běh
Co fyzicky vyžadovalo trénování: které čipy, kolik, jak dlouho a co to vyžadovalo ze zásuvky.
- Doba reálného času
- 1,200 hours (50 days)
The biggest individual models evaluated on WSJ (probably RNN 250/2 at 27M parameters) took about 2.1e16 FLOPs to train, and training took "several weeks". Assuming a linear scaleup and several = about 3: 3 weeks * 7 days/week * 24 hr/day * 5e16/2.1e16 = 1,200 hours
Dostupnost
Zda můžete získat model a spustit ho na svém vlastním hardwaru, což rozhoduje o tom, zda se některé z čísel grafických karet na této stránce vztahují.
- Hmotnosti
- Closed — provider access only
- Přístup k modelu
- Unreleased
Jak je to klasifikováno
Štítky aplikačních datových sad, které se používají při sledování významných modelů, a jak jistý je ve záznamu.
- Frontier model
- Yes
- Proč je to sledováno
- Highly cited
- Záznam důvěry
- Likely
- Citace
- 6,038
Žrovy
Odkud tento záznam pochází a kdy byl naposledy zkontrolován.
- Reference
- Recurrent neural network based language model
- Nap poslední aktualizace
- 11 February 2026
Co čísla znamenají
Pozadí
RNN 1000/5 + RT09 LM (NIST RT05) byl zveřejněn Brno University of Technology,Johns Hopkins University, v zemi zaznamenané jako Czechia, během September 2010. Kategorie, do které vydavatel spadá, je academia,Academia.
funguje v oblasti Speech, a je zaznamenán jako vykonávající úkol speech recognition (ASR), Transcription.
Protože váhy nejsou k dispozici, žádné z hardwarových údajů na tomto webu se na něj nevztahují.
Trénink a původ
Produkce toho vyžadovala aritmetiku v celkové výši přibližně 5 × 10¹⁶ FLOP. Tato částka měří, kolik stál výroba modelu, a nemá žádný vliv na to, jak rychle odpovídá.
Trénink spotřeboval korpus kolem 5,400,000 tokeny textu
Jeho kritérium zahrnutí: highly cited.
Odpovědi
RNN 1000/5 + RT09 LM (NIST RT05) — běžné otázky
RNN 1000/5 + RT09 LM (NIST RT05)— Jakou GPU potřebuji k jejímu spuštění?
Žádné. Toto je uzavřený model — jeho váhy nikdy nebyly zveřejněny, takže jej nelze stáhnout nebo spustit na vlastním hardwaru za žádnou cenu. Je dostupný pouze prostřednictvím jeho poskytovatele.
RNN 1000/5 + RT09 LM (NIST RT05)— Je to OPEN SOURCE?
Ne. Jeho váhy nebyly zveřejněny, takže existuje pouze jako služba řízená jeho vlastníkem.
RNN 1000/5 + RT09 LM (NIST RT05)— kolik má parametrů?
Má počet parametrů 77M. "The acoustic HMMs are based on cross-word tied-states triphones trained discriminatively using MPE criteria. Feature extraction use 13 Mel-PLP’s features with deltas, double and triple deltas reduced by HLDA to 39-dimension feature vector" RNN 1000/5 indicates that the model has a 1000 units in the hidden layer and merges words that occur less than 5 times in the training set. Section 4.2 in this paper appears to indicate that NIST RT05 has a vocabulary of 50k words: https://www.fit.vut.cz/person/imikolov/public/rnnlm/char.pdf Using this dataset of english word frequencies ... https://www.kaggle.com/datasets/rtatman/english-word-frequency ... we can estimate that the number of words in the final vocabulary would have been around 38k when merging with threshold 5: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Thus the model in question would have: (39 + 1000 + 38k) * 1000 + 1000 * 38k = 77,039,000 parameters The RT09 LM they interpolate with appears to be a 4-gram model. In one sense, n-gram models have parameters roughly equal to the number of unique n-grams in the training data. However, these aren't parameters in the same sense as neural networks as they are accessed as a lookup table, so on each forward pass only one parameter is active. I choose not to include these parameters in our count. Tato cifra je celková a rozhoduje o tom, kolik VRAM model potřebuje — přibližně půl gigabajtu na miliardu při kompresi, kterou většina lidí používá.
RNN 1000/5 + RT09 LM (NIST RT05)— Kdo to vytvořil?
Bylo to publikováno společností Brno University of Technology,Johns Hopkins University, zakládající se na Czechia, organizace zařazená jako academia,Academia.
RNN 1000/5 + RT09 LM (NIST RT05)— Kdy byl vydán?
Bylo to zveřejněno v September 2010. Schopnost na parametr se od té doby výrazně zlepšila, takže novější model stejné velikosti je často lepším využitím stejného hardwaru.
RNN 1000/5 + RT09 LM (NIST RT05)— K čemu se to používá?
funguje v oblasti Speech, a je zaznamenáno jako zpracovávající úkol speech recognition (ASR), Transcription. Toto jsou oblasti, kolem nichž byl navržen; popisují záměr spíše než tvrdou hranici.
RNN 1000/5 + RT09 LM (NIST RT05)— kolik výpočetního výkonu bylo použito k jeho trénování?
Trénink spotřeboval kolem 5 × 10¹⁶ FLOP. To měří, co stálo výrobu modelu, a neříká nic o tom, jak rychle odpovídá po natrénování — rychlost inferencí závisí na šířce pásma paměti, nikoli na rozpočtu na trénink.
Druhý směr
Díváte se na to z druhé strany?
Tato stránka začíná od modelu. Pokud již vlastníte kartu a chcete vědět všechno, co bude spuštěno, začněte raději od hardwaru.