DISTRO
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- Nous Research
- Organisationstyp
- Industry
- Land
- United States of America
- Veröffentlicht
- 26 August 2024
- Autoren
- Bowen Peng, Jeffrey Quesnelle, Dillon Rolnick, Ari Lotter, Umer H. Adil, Esteban La Rocca
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Language
- Aufgabe
- Language modeling/generation, Chat, Question answering
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Parameter
- 1.2B
- Trainingsdaten
- 100,000,000,000 tokens
1.2B
Total Steps 25000 Sequence Length 2048 Batch Size 2048 (4M tokens) Total Tokens 104.8576B
Training-Computing
Die zur Ausbildung des Modells durchgeführte Arithmetik, gemessen in Gleitkommaoperationen. Es ist ein Maß dafür, was der Trainingslauf gekostet hat, nicht wie schnell das fertige Modell Ihnen antwortet.
- Training-Computing
- 7.1 × 10²⁰ FLOP
- Wie es etabliert wurde
- Operation counting,Hardware
6 FLOP / parameter / token * 1.2*10^9 parameters * 104857600000 tokens = 7.5497472e+20 FLOP 989500000000000 FLOP / GPU / sec [bf16 assumed] *19.8 hours * 3600 sec / hour * 32 GPUs * 0.3 [assumed utilization] = 6.7710298e+20 FLOP sqrt(6.7710298e+20*7.5497472e+20) = 7.1497946e+20
Der Trainingslauf
Was physisch notwendig war, um zu trainieren: welche Chips, wie viele, wie lange und was das aus der Steckdose zog.
- Trainingshardware
- NVIDIA H100 SXM5 80GB
- Verwendete Chips
- 32
- Wand-Uhrzeit
- 20 hours
- Stromverbrauch
- 44.2 kW
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Aufzeichnungszuversicht
- Confident
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- A PRELIMINARY REPORT ON DISTRO
- Zuletzt aktualisiert
- 28 November 2025
Was die Zahlen bedeuten
Was dieses Modell ist
DISTRO was published by Nous Research, in United States of America, in August 2024. industry is the category the publisher falls under.
It works in Language, and is recorded as doing language modeling/generation, Chat, Question answering.
Dies ist ein geschlossenes Modell: die trainierten Werte blieben bei demjenigen, der sie produziert hat, und es gibt keine lokale Version, die ausgeführt werden kann.
Wie es trainiert wurde
Producing it required around 7.1 × 10²⁰ FLOP of arithmetic, on NVIDIA H100 SXM5 80GB, which is a statement about the training budget rather than about inference.
It was trained on about 100,000,000,000 tokens of text.
Antworten
DISTRO — Häufig gestellte Fragen
Who created DISTRO?
DISTRO was published by Nous Research, based in United States of America, categorised as industry.
When was DISTRO released?
DISTRO was published in August 2024. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is DISTRO used for?
DISTRO works in Language, and is recorded as handling language modeling/generation, Chat, Question answering. These are the areas it was designed around; they describe intent rather than a hard boundary.
How much compute was used to train DISTRO?
Around 7.1 × 10²⁰ FLOP, on NVIDIA H100 SXM5 80GB. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run DISTRO?
None. DISTRO is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is DISTRO open source?
The licensing for DISTRO was never recorded in our source data. We treat unstated licensing as closed, because an unrecorded licence is not one to rely on.
How many parameters does DISTRO have?
DISTRO has 1.2B parameters. 1.2B. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.