2-layer-LSTM+Deep-Gradient-Compression

Zárt súlyok Tsinghua University,Stanford University,NVIDIA 6M Paraméterek December 2017

Nincs becslés

Nincs hardver követelmény ennek a modellnek

A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..

Böngéssz a modellek között, amelyeket futhatsz helyett

Nyilvántartásban

Teljes specifikáció

Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..

Eredet

Ki építette ezt a modellt, hol, és mikor publikálták.

Szervezet: Tsinghua University,Stanford University,NVIDIA
Szervezet típusa: Academia,Academia,Industry
Ország: China, United States of America
Közölt: 5 December 2017
Szerzők: Yujun Lin, Song Han, Huizi Mao, Yu Wang, William J. Dally

Mit csinál

A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.

Tartomány: Language
Feladat: Language modeling
Numerikus formátum: FP32

Méret

Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.

Paraméterek: 6M
Képzési adatok: 929,000 tokens
Epochok: 40

Képzés számítás

A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.

Képzés számítás: 1.3 × 10¹⁵ FLOP
Hogyan jött létre: Operation counting

Elérhetőség

Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.

Súlyok: Closed — provider access only
Modell hozzáférés: Unreleased
Képzés kód: Unreleased

Hogyan van besorolva

Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.

Nyilvántartási bizalom: Likely
Hivatkozások: 1,627
Benchmark adatok: 2-layer-LSTM+Deep-Gradient-Compression

Források

Honnan származik ez a felvétel és mikor ellenőrizték utoljára.

Referencia: Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
Utoljára frissítve: 25 May 2026

Mit jelentenek a számok

Honnan jött

2-layer-LSTM+Deep-Gradient-Compression ki lett adva által Tsinghua University,Stanford University,NVIDIA, az országban rögzítve mint China, alatt December 2017. Egy olyan szervezetből származik, amelyet kategorizálnak mint academia,Academia,Industry.

Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling.

Mivel a súlyok nem elérhetők, ezért ezen az oldalon máshol található hardveradatok egyike sem vonatkozik rá.

Képzés és származás

A létrehozásához körülbelül összesítő aritmetikára volt szükség. 1.3 × 10¹⁵ FLOP. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.

Körülbelül egy korpuszon lett betanítva 929,000 szöveg tokenjei

Válaszok

2-layer-LSTM+Deep-Gradient-Compression — gyakori kérdések

2-layer-LSTM+Deep-Gradient-Compression— Nyílt forráskódú?

Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.

2-layer-LSTM+Deep-Gradient-Compression— Hány paramétere van?

Paraméterszáma 6M. Here is a summary of the calculations to determine the number of parameters in the 2-layer LSTM model with Deep Gradient Compression described in the paper: Model has 2 LSTM layers with 1500 hidden units each For an LSTM layer: W matrix: number of hidden units * input dimension U matrix: number of hidden units * number of hidden units 4 bias vectors with size = number of hidden units So params per LSTM layer = hidden_units * (input_dim + hidden_units + 4) For layer 1: Input dim is word embedding size (estimated 300) Params = 1500 * (300 + 1500 + 4) = 1,512,000 For layer 2: Input is previous layer output (1500) Params = 1500 * (1500 + 1500 + 4) = 4,506,000 Total Params = Layer 1 + Layer 2 = 1,512,000 + 4,506,000 = 6,018,000 The Deep Gradient Compression technique does not change number of parameters. So total parameters for the model is approximately 6 million. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.

2-layer-LSTM+Deep-Gradient-Compression— Ki készítette ezt?

Kiadta Tsinghua University,Stanford University,NVIDIA, alapján China, egy szervezet, amelyet kategorizáltak mint academia,Academia,Industry.

2-layer-LSTM+Deep-Gradient-Compression— Mikor adták ki?

Kibocsátották a December 2017. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.

2-layer-LSTM+Deep-Gradient-Compression— Mire használják?

Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling. A modell több mindenből is képes cipelni, így ezek azok a területek, amelyekre épült, nem pedig egy korlát arra, amit meg fog próbálni.

2-layer-LSTM+Deep-Gradient-Compression— mennyi számítási kapacitást használtak annak a betanításához?

A képzés körülbelül elfogyasztott 1.3 × 10¹⁵ FLOP. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.

2-layer-LSTM+Deep-Gradient-Compression— Milyen GPU-ra van szükségem, hogy futtathassam?

Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.

Forrás

Eredeti kiadvány

Az utolsó frissítés időpontja 25 May 2026

A másik irány

Másik oldalról nézve?

Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..

Minden AI modell