KN5 LM + RNN 400/10 (WSJ)
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Brno University of Technology,Johns Hopkins University
- Szervezet típusa
- Academia,Academia
- Ország
- Czechia, United States of America
- Közölt
- 26 September 2010
- Szerzők
- T. Mikolov, M. Karafiat, L. Burget, J. Cernock ´ y, and S. Khudanpur
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Speech
- Feladat
- Transcription
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 22.2M
- Képzési adatok
- 6,400,000 tokens
RNN 400/10 indicates that the model has 400 units in the hidden layer and merges words that occur less than 10 times in the training set. The model is trained on a 6.4M word subset of the NYT subset of English Gigaword. In this colab notebook, I estimate the vocabulary after merging infrequent words using english word frequency data at around 27.5k: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Then RNN 400/10 has: (27.5k + 400) * 400 + (400 * 27.5k) = 2…
The training corpus consists of 37M words from NYT section of English Gigaword. As it is very time consuming to train RNN LM on large data, we have used only up to 6.4M words for training RNN models (300K sentences) - it takes several weeks to train the most complex models
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 1.7 × 10¹⁶ FLOP
- Hogyan jött létre
- Operation counting
"Convergence is usually achieved after 10-20 epochs." 6 * 22,160,000 * 20 * 6.4M = 1.70e16
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Fali óra idő
- 504 hours (21 days)
"it takes several weeks to train the most complex models" Assume several weeks is around 3 weeks, or 504 hours
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Határmodell
- Yes
- Miért követik nyomon
- Highly cited
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 6,038
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Recurrent neural network based language model
- Utoljára frissítve
- 11 February 2026
Mit jelentenek a számok
Honnan jött
KN5 LM + RNN 400/10 (WSJ) ki lett adva által Brno University of Technology,Johns Hopkins University, az országban rögzítve mint Czechia, alatt September 2010. A kiadó kategóriája alá tartozik academia,Academia.
Működik a területen a Speech, és úgy van rögzítve, mint a feladat végrehajtása transcription.
Súlyait soha nem tették közzé, így csak a szolgáltatóján keresztül érhető el. Nincs grafikus kártya, ami ezt megváltoztatná.
Képzés és származás
A betanításhoz körülbelül egy számítási költségvetés kellett 1.7 × 10¹⁶ FLOP. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A tanító készlet kb. futott 6,400,000 szöveg tokenjei
A kiválasztási kritériuma: highly cited.
Válaszok
KN5 LM + RNN 400/10 (WSJ) — gyakori kérdések
KN5 LM + RNN 400/10 (WSJ)— Ki készítette ezt?
Kiadta Brno University of Technology,Johns Hopkins University, alapján Czechia, egy szervezet, amelyet kategorizáltak mint academia,Academia.
KN5 LM + RNN 400/10 (WSJ)— Mikor adták ki?
Kibocsátották a September 2010. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
KN5 LM + RNN 400/10 (WSJ)— Mire használják?
Működik a területen a Speech, és rögzítve van, hogy kezeli a feladatot transcription. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
KN5 LM + RNN 400/10 (WSJ)— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 1.7 × 10¹⁶ FLOP. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
KN5 LM + RNN 400/10 (WSJ)— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
KN5 LM + RNN 400/10 (WSJ)— Nyílt forráskódú?
A licencálás sosem volt rögzítve a forrásadatainkban. Az állandóan nem megadott licencet zártnak tekintjük, mert a nem rögzített licenc nem egy megbízható.
KN5 LM + RNN 400/10 (WSJ)— Hány paramétere van?
Paraméterszáma 22.2M. RNN 400/10 indicates that the model has 400 units in the hidden layer and merges words that occur less than 10 times in the training set. The model is trained on a 6.4M word subset of the NYT subset of English Gigaword. In this colab notebook, I estimate the vocabulary after merging infrequent words using english word frequency data at around 27.5k: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Then RNN 400/10 has: (27.5k + 400) * 400 + (400 * 27.5k) = 22.16M parameters The KN5 LM is effectively a lookup table over 5-grams in it's training data. In one sense, this means it has approximately as many parameters as unique 5-grams in the 37M words of training data. However, these aren't parameters in the same sense as neural networks, as they are accessed as a lookup table, so on each forward pass only one parameter is active. I choose not to include these parameters in our count. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..