GPT-2 + Progressive LRD
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- Huawei,Huawei Noah's Ark Lab
- Organisationstyp
- Industry,Industry
- Land
- China
- Veröffentlicht
- 12 October 2022
- Autoren
- Habib Hajimolahoseini, Walid Ahmed, Mehdi Rezagholizadeh, Vahid Partovinia, Yang Liu
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Language
- Aufgabe
- Language modeling/generation
- Basis-Modell
- GPT-2 (124M)
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Parameter
- 31M
- Trainingsdaten
- tokens
Table 2 They compressed GPT-2 (124M parameters) to 31M parameters
Training-Computing
Die zur Ausbildung des Modells durchgeführte Arithmetik, gemessen in Gleitkommaoperationen. Es ist ein Maß dafür, was der Trainingslauf gekostet hat, nicht wie schnell das fertige Modell Ihnen antwortet.
- Training-Computing
- 7.9 × 10²⁰ FLOP
- Wie es etabliert wurde
- Comparison with other models
base model training compute estimation: 7.936 × 10^20 FLOP __________ In the Algorithmic progress paper the estimation was 6.2 × 10^19 FLOP
Verfügbarkeit
Ob Sie das Modell erhalten und es auf Ihrer eigenen Hardware ausführen können, entscheidet darüber, ob eine der Grafikkartenfiguren auf dieser Seite zutrifft.
- Gewichte
- Closed — provider access only
- Modellzugang
- Unreleased
- Trainingscode
- Unreleased
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Aufzeichnungszuversicht
- Speculative
- Benchmark data
- Progressive LRD
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- Strategies for Applying Low Rank Decomposition to Transformer-Based Models
- Zuletzt aktualisiert
- 28 November 2025
Was die Zahlen bedeuten
Woher es kam
GPT-2 + Progressive LRD was published by Huawei,Huawei Noah's Ark Lab, in China, in October 2022. The organisation is categorised as industry,Industry.
Es funktioniert in Sprache und wird als Sprachmodellierung/-erzeugung aufgezeichnet.
Its starting point was GPT-2 (124M) — most models at this scale are adapted from an existing base rather than built from nothing.
Da die Gewichte nicht verfügbar sind, gelten keine der Hardwareangaben an anderer Stelle auf dieser Seite für sie.
Training und Herkunft
The training run consumed about 7.9 × 10²⁰ FLOP. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Antworten
GPT-2 + Progressive LRD — Häufig gestellte Fragen
How many parameters does GPT-2 + Progressive LRD have?
GPT-2 + Progressive LRD has 31M parameters. Table 2 They compressed GPT-2 (124M parameters) to 31M parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created GPT-2 + Progressive LRD?
GPT-2 + Progressive LRD was published by Huawei,Huawei Noah's Ark Lab, based in China, categorised as industry,Industry.
When was GPT-2 + Progressive LRD released?
GPT-2 + Progressive LRD was published in October 2022. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is GPT-2 + Progressive LRD used for?
GPT-2 + Progressive LRD works in Language, and is recorded as handling language modeling/generation. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
How much compute was used to train GPT-2 + Progressive LRD?
Around 7.9 × 10²⁰ FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run GPT-2 + Progressive LRD?
None. GPT-2 + Progressive LRD is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is GPT-2 + Progressive LRD open source?
No. GPT-2 + Progressive LRD has not had its weights published, so it exists only as a service controlled by its owner.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.