QRNN
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Salesforce Research
- Szervezet típusa
- Industry
- Ország
- United States of America
- Közölt
- 1 February 2018
- Szerzők
- Stephen Merity, Nitish Shirish Keskar, James Bradbury, Richard Socher
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling
- Numerikus formátum
- FP32
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 135M
- Képzési adatok
- 103,000,000 tokens
- Epochok
- 14
- Tételméret
- 8,400
Based on the details provided in the paper, the number of parameters in the QRNN model can be calculated as follows: Embedding layer size: 400 Number of QRNN layers: 4 Number of nodes per QRNN layer: 2500 Vocabulary size: 267,735 (for WikiText-103 dataset) Adaptive softmax layer Parameters: Embedding layer: 400 x 267,735 = 107,094,000 QRNN layers: Input to hidden weights per layer: 400 x 2500 = 1,000,000 Hidden to hidden weights per layer: 2500 x 2500 = 6,250,000 Biases per layer: 2500 = 2,500…
"We train with a batch size of 60 and a sequence length of 140." ""Using this approach we reduce our per-epoch time substantially and achieve a new state-of-the-art on WikiText-103 despite training for 14 epochs, a total time of only 12 hours."
60*140
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 6.9 × 10¹⁷ FLOP
- Hogyan jött létre
- Operation counting,Hardware
6 FLOP / parameter / token * 135000000 parameters ['Likely' confidence] * 103000000 tokens * 14 epochs = 1.16802e+18 FLOP 31330000000000 FLOP / sec / GPU [fp16 assumed] * 1 GPU * 12 hours * 3600 sec / hour * 0.3 [assumed utilization] = 4.060368e+17 FLOP sqrt(4.060368e+17*1.16802e+18) = 6.8866472e+17 FLOP
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA V100
- Fali óra idő
- 12 hours
"The model trains at 2980 seconds per epoch on the NVIDIA V100 and 5460 seconds per epoch on the NVIDIA P100." "Using this approach we reduce our per-epoch time substantially and achieve a new state-of-the-art on WikiText-103 despite training for 14 epochs, a total time of only 12 hours."
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Unreleased
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Likely
- Hivatkozások
- 5
- Benchmark adatok
- QRNN
"we reduce our per-epoch time substantially and achieve a new state-of-the-art on WikiText-103 despite training for 14 epochs"
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Scalable Language Modeling: WikiText-103 on a Single GPU in 12 hours
- Utoljára frissítve
- 1 December 2025
Mit jelentenek a számok
Mit jelent ez a modell
QRNN ki lett adva által Salesforce Research, az országban rögzítve mint United States of America, alatt February 2018. A kiadó kategóriája alá tartozik industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling.
Súlyait soha nem tették közzé, így csak a szolgáltatóján keresztül érhető el. Nincs grafikus kártya, ami ezt megváltoztatná.
Képzés és származás
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 6.9 × 10¹⁷ FLOP, hardveren rögzítve NVIDIA V100. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Körülbelül egy korpuszon lett betanítva 103,000,000 szöveg tokenjei
Egy különös okból nyomon követik az alapul szolgáló adatbázisban: sOTA improvement.
Válaszok
QRNN — gyakori kérdések
QRNN— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
QRNN— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 6.9 × 10¹⁷ FLOP, hardveren rögzítve NVIDIA V100. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
QRNN— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
QRNN— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
QRNN— Hány paramétere van?
Paraméterszáma 135M. Based on the details provided in the paper, the number of parameters in the QRNN model can be calculated as follows: Embedding layer size: 400 Number of QRNN layers: 4 Number of nodes per QRNN layer: 2500 Vocabulary size: 267,735 (for WikiText-103 dataset) Adaptive softmax layer Parameters: Embedding layer: 400 x 267,735 = 107,094,000 QRNN layers: Input to hidden weights per layer: 400 x 2500 = 1,000,000 Hidden to hidden weights per layer: 2500 x 2500 = 6,250,000 Biases per layer: 2500 = 2,500 Total QRNN layers parameters: 4 x (1,000,000 + 6,250,000 + 2,500) = 28,000,000 Adaptive softmax layer: No extra parameters due to weight tying Total Parameters = Embedding + QRNN layers = 107,094,000 + 28,000,000 = 135,094,000 So the total number of parameters in the QRNN model is approximately 135 million. The majority of parameters are in the embedding layer, while the 4 QRNN layers contribute 28 million parameters. The adaptive softmax does not add any extra parameters due to weight tying. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
QRNN— Ki készítette ezt?
Kiadta Salesforce Research, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry.
QRNN— Mikor adták ki?
Kibocsátották a February 2018. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..