Discriminator-tuned LSTM
Brak oszacowania
Brak wymagań sprzętowych dla tego modelu
Wagi dla tego modelu nie zostały opublikowane, więc nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny tylko za pośrednictwem swojego dostawcy, a zmiana karty graficznej tego nie zmienia..
Na nagranie
Pełna specyfikacja
Wszystko na rekord dla tego modelu. Większość z tego opisuje, jak był trenowany, a nie jak działa — użyteczny kontekst do oceny, ile pracy włożono w to, i jak wypada w porównaniu z modelami budowanymi w innym skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- Samsung R&D Institute Russia
- Typ organizacji
- Industry
- Kraj
- Russia
- Opublikowany
- 12 November 2018
- Autorzy
- Vadim Popov, Mikhail Kudinov
Co to robi
Obszary problemowe, dla których stworzono model. Model może mieć kilka z każdego.
- Domena
- Language
- Zadanie
- Language modeling
- Podejście
- Self-supervised learning
Rozmiar
Jak duży jest model i na ile danych był trenowany. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- parametry
- 111.9M
- Dane treningowe
- tokens
The largest experiment is the model trained in section 4.3 ("Large scale experiment"). The dataset here has a vocabulary of 100k words. They use a single-layer LSTM with 500 hidden units, with differentiated softmax for the output layer. d_k for distributed softmax varies from 16-150 depending on the relative frequency of the output word. Input layer: 100k * 500 = 50M parameters LSTM: 4 * (500 + 500) * 500 = 2M parameters Output layer: Here we need to assume the structure of differentiated s…
4GB of text * 200M words/GB * (0.75 words/token)^-1 = 1,066,666,667 tokens However, it's unclear whether they train over all of this. They break the data into 20MB chunks and say that each "epoch" corresponds to training on one chunk. Training the discriminator and fine-tuning the language model takes 60 and 30 "epochs" each, i.e. (60 + 30) * 0.02 * 200M * 4/3 = 480M tokens They appear to have pre-trained their own LSTM language model on the same data, but they don't say how many "ep…
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim sprzęcie, co decyduje o tym, czy którakolwiek z cyfr karty graficznej na tej stronie ma zastosowanie.
- Kod treningowy
- Unreleased
Jak jest klasyfikowane
Etykiety, które źródłowy zbiór danych stosuje podczas śledzenia znaczących modeli oraz jak pewny jest tego wpisu.
- Zapisz pewność
- Likely
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- Fine-tuning of Language Models with Discriminator
- Ostatnio zaktualizowane
- 28 November 2025
Co oznaczają liczby
O tym modelu
Discriminator-tuned LSTM został opublikowany przez Samsung R&D Institute Russia, w kraju zapisanym jako Russia, podczas November 2018. Wychodzi z organizacji zaklasyfikowanej jako industry.
Działa w dziedzinie Language, i jest zapisany jako wykonujący zadanie language modeling.
Jego wagi nigdy nie zostały opublikowane, więc można go osiągnąć tylko przez jego dostawcę. Żaden procesor graficzny tego nie zmieni.
Odpowiedzi
Discriminator-tuned LSTM — częste pytania
Discriminator-tuned LSTM— do czego to służy?
Działa w dziedzinie Language, i jest zarejestrowany jako realizujący zadanie language modeling. Model może obsługiwać kilka z każdego, więc to są obszary, dla których został zbudowany, a nie ograniczenie tego, co będzie próbował.
Discriminator-tuned LSTM— Jaką GPU potrzebuję, aby ją uruchomić?
Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.
Discriminator-tuned LSTM— czy jest open weight?
Licencja nigdy nie została zarejestrowana w naszych danych źródłowych. Traktujemy niewskazaną licencję jako zamkniętą, ponieważ niezarejestrowana licencja nie jest na którą można polegać.
Discriminator-tuned LSTM— ile ma parametrów?
Ma liczbę parametrów równą 111.9M. The largest experiment is the model trained in section 4.3 ("Large scale experiment"). The dataset here has a vocabulary of 100k words. They use a single-layer LSTM with 500 hidden units, with differentiated softmax for the output layer. d_k for distributed softmax varies from 16-150 depending on the relative frequency of the output word. Input layer: 100k * 500 = 50M parameters LSTM: 4 * (500 + 500) * 500 = 2M parameters Output layer: Here we need to assume the structure of differentiated softmax. Let's (somewhat arbitrarily) assume the top 10k words get 150-dim embeddings, the middle 30k get 50-dim embeddings, and the bottom 60k get 16-dim embeddings. Then we have: (10k * 150) + (30k * 50) + (60k * 16) = 3.96M parameters So in total, we have 50M + 2M + 3.96M = 55.96M In other experiments, the authors use the same architecture for the discriminator as for the language model. So total parameter count would appear to be 2 x 55.96M = 111.92M. Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.
Discriminator-tuned LSTM— kto to stworzył?
Zostało opublikowane przez Samsung R&D Institute Russia, oparty na Russia, organizacja sklasyfikowana jako industry.
Discriminator-tuned LSTM— kiedy to zostało wydane?
Zostało opublikowane w November 2018. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko będzie działać., Zacznij od sprzętu zamiast.