NPLM (AP News)
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- University of Montreal / Université de Montréal
- Szervezet típusa
- Academia
- Ország
- Canada
- Közölt
- 15 March 2003
- Szerzők
- Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Text autocompletion
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 11.9M
- Képzési adatok
- 13,994,528 tokens
"The number of free parameters is |V|(1 + nm + h) + h(1 + (n − 1)m) [...] For example, consider the following architecture used in the experiments on the AP (Associated Press) news data: the vocabulary size is |V| = 17,964, the number of hidden units is h = 60, the order of the model is n = 6, the number of word features is m = 100" AP News: n=6, h=60, m=100, |V|=17964 17964*(1+6*100+60)+60*(1+(6-1)*100)=11904264
"Comparative experiments were performed on the Brown corpus which is a stream of 1,181,041 words, from a large variety of English texts and books. The first 800,000 words were used for training, the following 200,000 for validation (model selection, weight decay, early stopping) and the remaining 181,041 for testing. The number of different words is 47,578 (including punctuation, distinguishing between upper and lower case, and including the syntactical marks used to separate texts and paragraph…
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 1.7 × 10¹⁵ FLOP
- Hogyan jött létre
- Operation counting
"For example, consider the following architecture used in the experiments on the AP (Associated Press) news data: the vocabulary size is |V| = 17,964, the number of hidden units is h = 60, the order of the model is n = 6, the number of word features is m = 100. The total number of numerical operations to process a single training example is approximately |V|(1+nm+h)+h(1+nm)+nm" AP News: n=6, h=60, m=100, |V|=17964, dataset=13994528, epochs=5 Forward FLOP: 17964*(1+6*100+60)+60*(1+6*100)+6*100=1…
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Határmodell
- Yes
- Miért követik nyomon
- Highly cited
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 7,637
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- A Neural Probabilistic Language Model
- Utoljára frissítve
- 11 February 2026
Mit jelentenek a számok
Erről a modelről
NPLM (AP News) ki lett adva által University of Montreal / Université de Montréal, az országban rögzítve mint Canada, alatt March 2003. A kiadó kategóriája alá tartozik academia.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása text autocompletion.
Mivel a súlyok nem elérhetők, ezért ezen az oldalon máshol található hardveradatok egyike sem vonatkozik rá.
Mi került a felépítésébe
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 1.7 × 10¹⁵ FLOP. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A tanító készlet kb. futott 13,994,528 szöveg tokenjei
Egy különös okból nyomon követik az alapul szolgáló adatbázisban: highly cited.
Válaszok
NPLM (AP News) — gyakori kérdések
NPLM (AP News)— Mikor adták ki?
Kibocsátották a March 2003. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
NPLM (AP News)— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot text autocompletion. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
NPLM (AP News)— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 1.7 × 10¹⁵ FLOP. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
NPLM (AP News)— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
NPLM (AP News)— Nyílt forráskódú?
A licencálás sosem volt rögzítve a forrásadatainkban. Az állandóan nem megadott licencet zártnak tekintjük, mert a nem rögzített licenc nem egy megbízható.
NPLM (AP News)— Hány paramétere van?
Paraméterszáma 11.9M. "The number of free parameters is |V|(1 + nm + h) + h(1 + (n − 1)m) [...] For example, consider the following architecture used in the experiments on the AP (Associated Press) news data: the vocabulary size is |V| = 17,964, the number of hidden units is h = 60, the order of the model is n = 6, the number of word features is m = 100" AP News: n=6, h=60, m=100, |V|=17964 17964*(1+6*100+60)+60*(1+(6-1)*100)=11904264. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
NPLM (AP News)— Ki készítette ezt?
Kiadta University of Montreal / Université de Montréal, alapján Canada, egy szervezet, amelyet kategorizáltak mint academia.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..