2-layer-LSTM+Deep-Gradient-Compression

Zamknięte wagi Tsinghua University,Stanford University,NVIDIA 6M parametry December 2017

Brak oszacowania

Brak wymagań sprzętowych dla tego modelu

Wagi dla tego modelu nie zostały opublikowane, więc nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny tylko za pośrednictwem swojego dostawcy, a zmiana karty graficznej tego nie zmienia..

Przeglądaj modele, które możesz uruchomić zamiast

Na nagranie

Pełna specyfikacja

Wszystko na rekord dla tego modelu. Większość z tego opisuje, jak był trenowany, a nie jak działa — użyteczny kontekst do oceny, ile pracy włożono w to, i jak wypada w porównaniu z modelami budowanymi w innym skali..

Pochodzenie

Kto zbudował ten model, gdzie i kiedy został opublikowany.

Organizacja: Tsinghua University,Stanford University,NVIDIA
Typ organizacji: Academia,Academia,Industry
Kraj: China, United States of America
Opublikowany: 5 December 2017
Autorzy: Yujun Lin, Song Han, Huizi Mao, Yu Wang, William J. Dally

Co to robi

Obszary problemowe, dla których stworzono model. Model może mieć kilka z każdego.

Domena: Language
Zadanie: Language modeling
Format numeryczny: FP32

Rozmiar

Jak duży jest model i na ile danych był trenowany. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.

parametry: 6M
Dane treningowe: 929,000 tokens
Epoki: 40

Obliczenia treningowe

Arytmetyka wykonywana w celu wytrenowania modelu, mierzona w operacjach zmiennoprzecinkowych. Jest to miara kosztów przeprowadzenia treningu, a nie tego, jak szybko gotowy model odpowiada na twoje pytania.

Obliczenia treningowe: 1.3 × 10¹⁵ FLOP
Jak to zostało ustalone: Operation counting

Dostępność

Czy możesz zdobyć model i uruchomić go na swoim sprzęcie, co decyduje o tym, czy którakolwiek z cyfr karty graficznej na tej stronie ma zastosowanie.

Wagi: Closed — provider access only
Dostęp do modelu: Unreleased
Kod treningowy: Unreleased

Jak jest klasyfikowane

Etykiety, które źródłowy zbiór danych stosuje podczas śledzenia znaczących modeli oraz jak pewny jest tego wpisu.

Zapisz pewność: Likely
Cytaty: 1,627
Dane benchmarkowe: 2-layer-LSTM+Deep-Gradient-Compression

Źródła

Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.

Referencja: Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
Ostatnio zaktualizowane: 25 May 2026

Co oznaczają liczby

Skąd to pochodzi

2-layer-LSTM+Deep-Gradient-Compression został opublikowany przez Tsinghua University,Stanford University,NVIDIA, w kraju zapisanym jako China, podczas December 2017. Wychodzi z organizacji zaklasyfikowanej jako academia,Academia,Industry.

Działa w dziedzinie Language, i jest zapisany jako wykonujący zadanie language modeling.

Ponieważ wagi nie są dostępne, żadne z danych dotyczących sprzętu gdzie indziej na tej stronie się do niego nie odnoszą.

Szkolenie i pochodzenie

Wytworzenie tego wymagało arytmetyki sumującej około 1.3 × 10¹⁵ FLOP. Ta liczba mierzy, ile kosztowało wyprodukowanie modelu i nie ma wpływu na to, jak szybko odpowiada.

Został wytrenowany na korpusie około 929,000 Tokeny tekstu.

Odpowiedzi

2-layer-LSTM+Deep-Gradient-Compression — częste pytania

2-layer-LSTM+Deep-Gradient-Compression— czy jest open weight?

Nie. Jego wagi nie zostały opublikowane, więc istnieje tylko jako usługa kontrolowana przez jego właściciela.

2-layer-LSTM+Deep-Gradient-Compression— ile ma parametrów?

Ma liczbę parametrów równą 6M. Here is a summary of the calculations to determine the number of parameters in the 2-layer LSTM model with Deep Gradient Compression described in the paper: Model has 2 LSTM layers with 1500 hidden units each For an LSTM layer: W matrix: number of hidden units * input dimension U matrix: number of hidden units * number of hidden units 4 bias vectors with size = number of hidden units So params per LSTM layer = hidden_units * (input_dim + hidden_units + 4) For layer 1: Input dim is word embedding size (estimated 300) Params = 1500 * (300 + 1500 + 4) = 1,512,000 For layer 2: Input is previous layer output (1500) Params = 1500 * (1500 + 1500 + 4) = 4,506,000 Total Params = Layer 1 + Layer 2 = 1,512,000 + 4,506,000 = 6,018,000 The Deep Gradient Compression technique does not change number of parameters. So total parameters for the model is approximately 6 million. Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.

2-layer-LSTM+Deep-Gradient-Compression— kto to stworzył?

Zostało opublikowane przez Tsinghua University,Stanford University,NVIDIA, oparty na China, organizacja sklasyfikowana jako academia,Academia,Industry.

2-layer-LSTM+Deep-Gradient-Compression— kiedy to zostało wydane?

Zostało opublikowane w December 2017. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.

2-layer-LSTM+Deep-Gradient-Compression— do czego to służy?

Działa w dziedzinie Language, i jest zarejestrowany jako realizujący zadanie language modeling. Model może obsługiwać kilka z każdego, więc to są obszary, dla których został zbudowany, a nie ograniczenie tego, co będzie próbował.

2-layer-LSTM+Deep-Gradient-Compression— ile mocy obliczeniowej użyto do jego trenowania?

Szkolenie zajęło około 1.3 × 10¹⁵ FLOP. To mierzy, ile kosztowało wyprodukowanie modelu i nie mówi nic o tym, jak szybko odpowiada po wytrenowaniu — prędkość wnioskowania pochodzi z SZEROKOŚCI PASMA, a nie z budżetu treningowego.

2-layer-LSTM+Deep-Gradient-Compression— Jaką GPU potrzebuję, aby ją uruchomić?

Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.

Źródło

Oryginalna publikacja

Ostatnia aktualizacja rekordu 25 May 2026

Druga strona

Patrząc na to z drugiej strony?

Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko będzie działać., Zacznij od sprzętu zamiast.

Wszystkie modele AI