DeepNet
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- Microsoft Research
- Organisationstyp
- Industry
- Land
- United States of America
- Veröffentlicht
- 1 March 2022
- Autoren
- Hongyu Wang, Shuming Ma, Li Dong, Shaohan Huang, Dongdong Zhang, Furu Wei
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Language
- Aufgabe
- Language modeling, Translation, Language modeling/generation
- Numerical format
- FP16
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Parameter
- 3.2B
- Trainingsdaten
- 272,629,760,000 tokens
- Epochen
- 4
"Remarkably, on a multilingual benchmark with 7,482 translation directions, our 200-layer model with 3.2B parameters significantly outperforms the 48-layer state-of-the-art model with 12B parameters by 5 BLEU points, which indicates a promising scaling direction" EDIT 05/05/2022: The 12B model was presented in an earlier paper. This paper presents a 3.2B model
" The final data consists of 102 languages, 1932 directions, and 12B sentence pairs."
Training-Computing
Die zur Ausbildung des Modells durchgeführte Arithmetik, gemessen in Gleitkommaoperationen. Es ist ein Maß dafür, was der Trainingslauf gekostet hat, nicht wie schnell das fertige Modell Ihnen antwortet.
- Wie es etabliert wurde
- Comparison with other models
Verfügbarkeit
Ob Sie das Modell erhalten und es auf Ihrer eigenen Hardware ausführen können, entscheidet darüber, ob eine der Grafikkartenfiguren auf dieser Seite zutrifft.
- Gewichte
- Closed — provider access only
- Modellzugang
- Unreleased
- Trainingscode
- Open source
model code is said to be part of the torchscale library (I am not sure if full pre-training code is here): https://github.com/microsoft/torchscale MIT license
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Warum es nachverfolgt wird
- SOTA improvement
- Aufzeichnungszuversicht
- Confident
- Zitationen
- 244
"Remarkably, on a multilingual benchmark with 7,482 translation directions, our 200-layer model with 3.2B parameters significantly outperforms the 48-layer state-of-the-art model with 12B parameters by 5 BLEU points"
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- DeepNet: Scaling Transformers to 1,000 Layers
- Zuletzt aktualisiert
- 25 May 2026
Was die Zahlen bedeuten
Was dieses Modell ist
DeepNet was published by Microsoft Research, in United States of America, in March 2022. It comes out of industry.
It works in Language, and is recorded as doing language modeling, Translation, Language modeling/generation.
Seine Gewichte wurden nie veröffentlicht, daher kann es nur über seinen Anbieter erreicht werden. Keine Grafikkarte ändert das.
Training und Herkunft
It was trained on about 272,629,760,000 tokens of text.
Es wird im zugrunde liegenden Datensatz aus einem bestimmten Grund verfolgt: sOTA-Verbesserung.
Antworten
DeepNet — Häufig gestellte Fragen
Who created DeepNet?
DeepNet was published by Microsoft Research, based in United States of America, categorised as industry.
When was DeepNet released?
DeepNet was published in March 2022. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is DeepNet used for?
DeepNet works in Language, and is recorded as handling language modeling, Translation, Language modeling/generation. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
What GPU do I need to run DeepNet?
None. DeepNet is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is DeepNet open source?
No. DeepNet has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does DeepNet have?
DeepNet has 3.2B parameters. "Remarkably, on a multilingual benchmark with 7,482 translation directions, our 200-layer model with 3.2B parameters significantly outperforms the 48-layer state-of-the-art model with 12B parameters by 5 BLEU points, which indicates a promising scaling direction" EDIT 05/05/2022: The 12B model was presented in an earlier paper. This paper presents a 3.2B model. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.