Llama Nemotron Ultra 253B TPS-Rechner

Die kleinste Karte in unserem Katalog, die es hält, ist H200 NVL, mit einer MEMORY-KAPAZITÄT von 141 GB. Es führt das Modell mit einer Kompression von Q3_K_M verwenden von etwa 124.3 GB, und produziert ungefähr 22.1 Token pro Sekunde. Die Anzahl der Karten, die es insgesamt ausführen können: 9.

Es hängt von der Karte ab. Das Schnellste, das wir berechnen, ist B200, ungefähr 30.9 Tokens pro Sekunde; die langsamste, die es immer noch ausführt, schafft erheblich weniger. Die Lesegeschwindigkeit liegt bei etwa zehn Tokens pro Sekunde, und die Anzahl der Karten, die das bewältigen: 9.

Es benötigt etwa 124.3 GB bei einer Kompression von Q3_K_M, welche das ist, was die kleinste Karte, die es ausführt, verwendet. Weniger Kompression braucht mehr: die Zahlen in der Spalte für den Speicher oben werden für jede Karte neu berechnet, da jede die am wenigsten komprimierte Version, die sie kann, speichert.

Die Gewichte sind veröffentlicht, sodass sie heruntergeladen und auf Ihrer eigenen Hardware ausgeführt werden können. Beachten Sie, dass OPEN WEIGHTS nicht dasselbe wie OPEN SOURCE im vollen Sinne ist — es sagt nichts über die Trainingsdaten, den Trainingscode oder die damit verbundenen kommerziellen Bedingungen aus.

Es hat eine Parameteranzahl von 253B. 253B "Dense decoder-only Transformer model Network Architecture: Llama-3.1-405B-Instruct, customized through Neural Architecture Search (NAS) **This model was developed based on Llama-3.1-405B-Instruct ** This model has 253B model parameters.". Diese Zahl ist die Gesamtsumme, und sie bestimmt, wie viel MEMORY das MODEL benötigt – ungefähr ein halbes Gigabyte pro Milliarde bei der Kompression, die die meisten Menschen verwenden.

Es wurde veröffentlicht von NVIDIA, basiert auf United States of America, eine als kategorisierte Organisation industry.

Es wurde veröffentlicht in March 2025.

Es funktioniert im Bereich von Language, und wird als Bewältigung der Aufgabe von language modeling/generation, Question answering, Quantitative reasoning, Code generation, Neural Architecture Search - NAS. Modelle tragen häufig mehr als eines von jeder, und die Tags beschreiben den Zweck anstelle von Fähigkeitsgrenzen.

Seine Gewichte sind auf Hugging Face veröffentlicht, unter der Organisation nvidia. Wir hosten keine Modell-Dateien — diese Seite berechnet, welche Hardware benötigt wird, um sie auszuführen.

Training verbrauchte etwa 3.9 × 10²⁵ FLOP. Das misst, was die Produktion des Modells gekostet hat, und sagt nichts darüber aus, wie schnell es einmal trainiert antwortet — die Inferenzgeschwindigkeit kommt von der MEMORY-BANDWIDTH, nicht vom TRAINING-BUDGET.

Teilweise. Schichten, die nicht passen, verbleiben im System-Speicher und laufen mit einem Bruchteil der Geschwindigkeit, sodass ein überwiegend ausgelagerter Modell selten von Nutzen ist. Die nächste verpasste Berechnung bleibt hinter 38.6 GB Jede Zahl hier geht davon aus, dass das gesamte Modell auf der Karte vorhanden ist.

Die Kapazität addiert sich über Karten; der Durchsatz nicht. Die Anzahl der Karten, die es bereits eigenständig halten: 9. So eine zweite Karte ist hier selten die Antwort.

Da die Kapazität variiert, variiert auch, wie sehr sie komprimiert werden muss. Die Anzahl der unterschiedlichen Ebenen in der obigen Tabelle: 3. Größere Karten erhalten die genauere Version, und die Qualitätsuntergrenze verankert den Vergleich auf einem Niveau.

Jede Zahl leitet sich von VRAM-Bandbreite und Modellgröße ab, nicht benchmarked, weshalb jede als Bereich und nicht als einzelne Zahl veröffentlicht wird. Ein Beispiel: 19–49 tok/s auf B200. Das gleiche Modell und die Karte variieren je nach Inferenzsoftware und deren Version um dreißig bis fünfzig Prozent.