Discriminator-tuned LSTM
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, daher kann es nicht heruntergeladen oder auf Ihrer eigenen Hardware in beliebiger Größe betrieben werden. Es ist nur über seinen Anbieter erreichbar, und keine Grafikkarte ändert das..
Aufgezeichnet
Volle Spezifikation
Alles, was in unserer Datenbank für dieses Modell aufgezeichnet ist. Der Großteil beschreibt, wie es trainiert wurde, anstatt wie es läuft — nützlicher Kontext zur Beurteilung, wie viel Arbeit darin steckt und wie es sich mit Modellen vergleicht, die in einem anderen Maßstab erstellt wurden..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- Samsung R&D Institute Russia
- Organisationsart
- Industry
- Land
- Russia
- Veröffentlicht
- 12 November 2018
- Autoren
- Vadim Popov, Mikhail Kudinov
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere davon tragen.
- Domain
- Language
- Aufgabe
- Language modeling
- Ansatz
- Self-supervised learning
Größe
Wie groß das Modell ist und wie viele Daten damit trainiert wurden. Parameter sind die Zahl, die entscheidet, ob es auf einer bestimmten GPU-Karte passt.
- Parameter
- 111.9M
- Trainingsdaten
- tokens
The largest experiment is the model trained in section 4.3 ("Large scale experiment"). The dataset here has a vocabulary of 100k words. They use a single-layer LSTM with 500 hidden units, with differentiated softmax for the output layer. d_k for distributed softmax varies from 16-150 depending on the relative frequency of the output word. Input layer: 100k * 500 = 50M parameters LSTM: 4 * (500 + 500) * 500 = 2M parameters Output layer: Here we need to assume the structure of differentiated s…
4GB of text * 200M words/GB * (0.75 words/token)^-1 = 1,066,666,667 tokens However, it's unclear whether they train over all of this. They break the data into 20MB chunks and say that each "epoch" corresponds to training on one chunk. Training the discriminator and fine-tuning the language model takes 60 and 30 "epochs" each, i.e. (60 + 30) * 0.02 * 200M * 4/3 = 480M tokens They appear to have pre-trained their own LSTM language model on the same data, but they don't say how many "ep…
Verfügbarkeit
Ob Sie das Modell beziehen und es auf Ihrer eigenen Hardware ausführen können, bestimmt, ob eine der Grafikkarten-Zahlen auf dieser Seite zutrifft.
- Training-Code
- Unreleased
Wie es klassifiziert ist
Labels, die das Quell-Datenset anwendet, wenn bemerkenswerte Modelle verfolgt werden, und wie zuversichtlich es in den Eintrag ist.
- Aufzeichnungsgenauigkeit
- Likely
Quellen
Woher dieser Datensatz stammt und wann er zuletzt überprüft wurde.
- Referenz
- Fine-tuning of Language Models with Discriminator
- Zuletzt aktualisiert
- 28 November 2025
Was die Zahlen bedeuten
Über dieses Modell
Discriminator-tuned LSTM wurde veröffentlicht von Samsung R&D Institute Russia, im Land aufgezeichnet als Russia, während November 2018. Es stammt aus einer Organisation, die kategorisiert ist als industry.
Es funktioniert im Bereich von Language, und wird als die Aufgabe von aufgezeichnet language modeling.
Seine Gewichte wurden niemals veröffentlicht, daher kann es nur über seinen Anbieter erreicht werden. Keine Grafikkarten ändern das.
Antworten
Discriminator-tuned LSTM — Häufige Fragen
Discriminator-tuned LSTM— Wofür wird es verwendet?
Es funktioniert im Bereich von Language, und wird als Bewältigung der Aufgabe von language modeling. Ein Modell kann mehrere von jedem tragen, daher sind dies die Bereiche, für die es gebaut wurde, anstatt eine Begrenzung dafür, was es versuchen wird.
Discriminator-tuned LSTM— Welche GPU benötige ich, um es auszuführen?
Dieses ist ein geschlossenes Modell — seine Gewichte wurden nie veröffentlicht, sodass es zu keinem Preis heruntergeladen oder auf Ihrer eigenen Hardware ausgeführt werden kann. Es ist nur über seinen Anbieter erreichbar.
Discriminator-tuned LSTM— Ist es Open-Source?
Die Lizenzierung wurde nie in unseren Quelldaten aufgezeichnet. Wir behandeln nicht angegebene Lizenzen als geschlossen, da eine nicht aufgezeichnete Lizenz keine ist, auf die man sich verlassen kann.
Discriminator-tuned LSTM— Wie viele Parameter hat es?
Es hat eine Parameteranzahl von 111.9M. The largest experiment is the model trained in section 4.3 ("Large scale experiment"). The dataset here has a vocabulary of 100k words. They use a single-layer LSTM with 500 hidden units, with differentiated softmax for the output layer. d_k for distributed softmax varies from 16-150 depending on the relative frequency of the output word. Input layer: 100k * 500 = 50M parameters LSTM: 4 * (500 + 500) * 500 = 2M parameters Output layer: Here we need to assume the structure of differentiated softmax. Let's (somewhat arbitrarily) assume the top 10k words get 150-dim embeddings, the middle 30k get 50-dim embeddings, and the bottom 60k get 16-dim embeddings. Then we have: (10k * 150) + (30k * 50) + (60k * 16) = 3.96M parameters So in total, we have 50M + 2M + 3.96M = 55.96M In other experiments, the authors use the same architecture for the discriminator as for the language model. So total parameter count would appear to be 2 x 55.96M = 111.92M. Diese Zahl ist die Gesamtsumme, und sie bestimmt, wie viel MEMORY das MODEL benötigt – ungefähr ein halbes Gigabyte pro Milliarde bei der Kompression, die die meisten Menschen verwenden.
Discriminator-tuned LSTM— Wer hat es erstellt?
Es wurde veröffentlicht von Samsung R&D Institute Russia, basiert auf Russia, eine als kategorisierte Organisation industry.
Discriminator-tuned LSTM— Wann wurde es veröffentlicht?
Es wurde veröffentlicht in November 2018. Die Fähigkeit pro Parameter hat sich erheblich verbessert, sodass ein neueres Modell derselben Größe oft die bessere Nutzung derselben Hardware darstellt.
Die andere Richtung
Von der anderen Seite aus betrachten?
Diese Seite beginnt mit dem Modell. Wenn Sie bereits eine Karte besitzen und alles wissen möchten, was sie ausführen wird, Starte stattdessen von der Hardware.