Qwen3-Coder-480B-A35B TPS-Rechner

Es hat eine Parameteranzahl von 480B. "a 480B-parameter Mixture-of-Experts model with 35B active parameters which supports the context length of 256K tokens natively and 1M tokens with extrapolation methods". Diese Zahl ist die Gesamtsumme, und sie bestimmt, wie viel MEMORY das MODEL benötigt – ungefähr ein halbes Gigabyte pro Milliarde bei der Kompression, die die meisten Menschen verwenden.

Es wurde veröffentlicht von Alibaba, basiert auf China, eine als kategorisierte Organisation industry.

Es wurde veröffentlicht in July 2025.

Es funktioniert im Bereich von Language, und wird als Bewältigung der Aufgabe von language modeling/generation, Question answering, Code generation, System control. Ein Modell kann mehrere von jedem tragen, daher sind dies die Bereiche, für die es gebaut wurde, anstatt eine Begrenzung dafür, was es versuchen wird.

Seine Gewichte sind auf Hugging Face veröffentlicht, unter der Organisation Qwen. Wir hosten keine Modell-Dateien — diese Seite berechnet, welche Hardware benötigt wird, um sie auszuführen.

Training verbrauchte etwa 1.6 × 10²⁴ FLOP. Das misst, was die Produktion des Modells gekostet hat, und sagt nichts darüber aus, wie schnell es einmal trainiert antwortet — die Inferenzgeschwindigkeit kommt von der MEMORY-BANDWIDTH, nicht vom TRAINING-BUDGET.

Es kann zwischen der GPU-Karte und dem Systemspeicher aufgeteilt werden, aber es wird auf diese Weise schmerzhaft langsam erzeugt. Die nächste verpasste Berechnung bleibt hinter 88.8 GB Jede Zahl hier geht davon aus, dass das gesamte Modell auf der Karte vorhanden ist.

Zwei Karten kaufen Speicher statt Geschwindigkeit, was nur wichtig ist, wenn eine Karte es nicht halten kann. Die Anzahl, die es kann: 4. So eine zweite Karte ist hier selten die Antwort.

Da die Kapazität variiert, variiert auch, wie sehr sie komprimiert werden muss. Die Anzahl der unterschiedlichen Ebenen in der obigen Tabelle: 2. Größere Karten erhalten die genauere Version, und die Qualitätsuntergrenze verankert den Vergleich auf einem Niveau.

Jede Zahl leitet sich von VRAM-Bandbreite und Modellgröße ab, nicht benchmarked, weshalb jede als Bereich und nicht als einzelne Zahl veröffentlicht wird. Ein Beispiel: 58–154 tok/s auf B300. Das gleiche Modell und die Karte variieren je nach Inferenzsoftware und deren Version um dreißig bis fünfzig Prozent.

Die kleinste Karte in unserem Katalog, die es hält, ist Radeon Instinct MI325X, mit einer MEMORY-KAPAZITÄT von 256 GB. Es führt das Modell mit einer Kompression von Q3_K_M verwenden von etwa 205.7 GB, und produziert ungefähr 61.9 Token pro Sekunde. Die Anzahl der Karten, die es insgesamt ausführen können: 4.

Es hängt von der Karte ab. Das Schnellste, das wir berechnen, ist B300, ungefähr 96.3 Tokens pro Sekunde; die langsamste, die es immer noch ausführt, schafft erheblich weniger. Die Lesegeschwindigkeit liegt bei etwa zehn Tokens pro Sekunde, und die Anzahl der Karten, die das bewältigen: 4.

Es benötigt etwa 205.7 GB bei einer Kompression von Q3_K_M, welche das ist, was die kleinste Karte, die es ausführt, verwendet. Weniger Kompression braucht mehr: die Zahlen in der Spalte für den Speicher oben werden für jede Karte neu berechnet, da jede die am wenigsten komprimierte Version, die sie kann, speichert.

Die Gewichte sind veröffentlicht, sodass sie heruntergeladen und auf Ihrer eigenen Hardware ausgeführt werden können. Beachten Sie, dass OPEN WEIGHTS nicht dasselbe wie OPEN SOURCE im vollen Sinne ist — es sagt nichts über die Trainingsdaten, den Trainingscode oder die damit verbundenen kommerziellen Bedingungen aus.