Nemotron-4 15B
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- NVIDIA
- Organisationstyp
- Industry
- Land
- United States of America
- Veröffentlicht
- 27 February 2024
- Autoren
- Jupinder Parmar, Shrimai Prabhumoye, Joseph Jennings, Mostofa Patwary, Sandeep Subramanian, Dan Su, Chen Zhu, Deepak Narayanan, Aastha Jhunjhunwala, Ayush Dattagupta, Vibhu Jawa, Jiwei Liu, Ameya Mahabaleshwarkar, Osvald Nitski, Annika Brundyn, James Maki, Miguel Martinez, Jiaxuan You, John Kamalu, Patrick LeGresley, Denys Fridman, Jared Casper, Ashwath Aithal, Oleksii Kuchaiev, Mohammad Shoeybi, …
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Language
- Aufgabe
- Language modeling/generation, Code generation, Question answering, Translation, Quantitative reasoning
- Numerical format
- BF16
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Parameter
- 15B
- Trainingsdaten
- tokens
15b
"15-billion-parameter large multilingual language model trained on 8 trillion text tokens"
Training-Computing
Die zur Ausbildung des Modells durchgeführte Arithmetik, gemessen in Gleitkommaoperationen. Es ist ein Maß dafür, was der Trainingslauf gekostet hat, nicht wie schnell das fertige Modell Ihnen antwortet.
- Training-Computing
- 7.5 × 10²³ FLOP
- Wie es etabliert wurde
- Operation counting,Hardware
6ND = 6 FLOP/token/parameter * 15*10^9 parameters * 8*10^12 tokens = 7.2e+23 FLOP "Nemotron-4 was trained using 384 DGX H100 nodes; each node contains 8 H100 80GB SXM5 GPUs based on the NVIDIA Hopper architecture (NVIDIA, 2022). Each H100 GPU has a peak throughput of 989 teraFLOP/s when doing 16-bit floating point (bfloat16) arithmetic without sparsity. Table 2 reports more detailed training schedule: 989*10^12 FLOP/sec * 3600 sec/hour * 24 hours * (768 gpus * 0.343 [reported utilization] * 0…
Der Trainingslauf
Was physisch notwendig war, um zu trainieren: welche Chips, wie viele, wie lange und was das aus der Steckdose zog.
- Trainingshardware
- NVIDIA H100 SXM5 80GB
- Verwendete Chips
- 3,072
- Wand-Uhrzeit
- 312 hours (13 days)
- Hardware-Nutzung
- MFU 30.5%
- Stromverbrauch
- 4.3 MW
"Training was completed in approximately 13 calendar days."
MFU shown in Table 2
Verfügbarkeit
Ob Sie das Modell erhalten und es auf Ihrer eigenen Hardware ausführen können, entscheidet darüber, ob eine der Grafikkartenfiguren auf dieser Seite zutrifft.
- Gewichte
- Closed — provider access only
- Modellzugang
- Unreleased
- Trainingscode
- Unreleased
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Wahrscheinlich über 10²³ FLOP
- Yes
- Aufzeichnungszuversicht
- Confident
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- Nemotron-4 15B Technical Report
- Zuletzt aktualisiert
- 28 November 2025
Was die Zahlen bedeuten
Woher es kam
Nemotron-4 15B was published by NVIDIA, in United States of America, in February 2024. It comes out of industry.
It works in Language, and is recorded as doing language modeling/generation, Code generation, Question answering, Translation, Quantitative reasoning.
Because the weights are not available, none of the hardware figures elsewhere on this site apply to it.
Wie es trainiert wurde
Producing it required around 7.5 × 10²³ FLOP of arithmetic, on NVIDIA H100 SXM5 80GB, which is a statement about the training budget rather than about inference.
Antworten
Nemotron-4 15B — Häufig gestellte Fragen
What is Nemotron-4 15B used for?
Nemotron-4 15B works in Language, and is recorded as handling language modeling/generation, Code generation, Question answering, Translation, Quantitative reasoning. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
How much compute was used to train Nemotron-4 15B?
Around 7.5 × 10²³ FLOP, on NVIDIA H100 SXM5 80GB. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Nemotron-4 15B?
None. Nemotron-4 15B is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Nemotron-4 15B open source?
No. Nemotron-4 15B has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Nemotron-4 15B have?
Nemotron-4 15B has 15B parameters. 15b. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Nemotron-4 15B?
Nemotron-4 15B was published by NVIDIA, based in United States of America, categorised as industry.
When was Nemotron-4 15B released?
Nemotron-4 15B was published in February 2024. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.