Qwen3-Coder-480B-A35B TPS-rekenmachine

Het heeft een parameter telling van 480B. "a 480B-parameter Mixture-of-Experts model with 35B active parameters which supports the context length of 256K tokens natively and 1M tokens with extrapolation methods". Dat cijfer is het totaal, en het bepaalt hoeveel MEMORY het MODEL nodig heeft - ongeveer een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.

Het werd gepubliceerd door Alibaba, gebaseerd op China, een organisatie geclassificeerd als industry.

Het werd gepubliceerd in July 2025.

Het werkt in het domein van Language, en wordt geregistreerd als het afhandelen van language modeling/generation, Question answering, Code generation, System control. Een model kan er verschillende van elk dragen, dus dit zijn de gebieden waarvoor het is gebouwd in plaats van een limiet op wat het zal proberen.

Zijn gewichten zijn gepubliceerd op Hugging Face, onder de organisatie Qwen. Wij hosten geen modelbestanden - deze site berekent welke hardware nodig is om ze te draaien.

Training verbruikte ongeveer 1.6 × 10²⁴ FLOP. Dat meet wat het kosten om het model te produceren en zegt niets over hoe snel het antwoord geeft zodra het getraind is — inferentie snelheid komt van geheugenbandbreedte, niet van het trainingsbudget.

Het kan worden opgesplitst tussen de GPU-kaart en systeemgeheugen, maar het genereert op die manier pijnlijk traag. De dichtstbijzijnde miscalculatie die we berekenen, komt tekort met 88.8 GB Elke figuur hier gaat ervan uit dat het hele model op de kaart staat.

Twee kaarten kopen geheugen in plaats van snelheid, wat alleen van belang is als één kaart het niet kan bevatten. Het aantal dat kan: 4. Dus een tweede card is zelden het antwoord hier.

Omdat de capaciteit varieert, varieert ook hoe hard het moet worden samengedrukt. Het aantal onderscheidende niveaus in de bovenstaande tabel: 2. Grotere CARDS krijgen de meer nauwkeurige versie, en de kwaliteitsvloer boven pins beperkt de vergelijking tot één niveau.

Elke waarde is afgeleid van het geheugenbandbreedte en de modelgrootte, niet geverifieerd, wat de reden is dat elke waarde als een bereik in plaats van een enkel getal wordt gepubliceerd. Eén voorbeeld: 58–154 tok/s op B300. Hetzelfde model en kaart variëren met dertig tot vijftig procent, afhankelijk van de inferentiesoftware en de versie ervan.

De kleinste kaart in onze catalogus die het vasthoudt is Radeon Instinct MI325X, met een geheugen capaciteit van 256 GB. Het draait het model op een compressie van Q3_K_M ongeveer 205.7 GB, en produceert ongeveer 61.9 tokens per second. Het aantal kaarten dat het totaal kan draaien: 4.

Het hangt af van de kaart. De snelste die we berekenen is B300, ongeveer 96.3 tokens per seconde; de langzaamste die het nog steeds draait haalt aanzienlijk minder. De leessnelheid is rond de tien tokens per seconde, en het aantal kaarten dat dat haalt: 4.

Het heeft ongeveer 205.7 GB bij een compressie van Q3_K_M, welke is wat de kleinste card die het draait gebruikt. Minder compressie heeft meer nodig: de cijfers in de memory-kolom hierboven worden opnieuw berekend voor elke card, omdat elke card de minst gecomprimeerde versie kan vasthouden.

De gewichten zijn gepubliceerd, zodat ze kunnen worden gedownload en op je eigen hardware kunnen worden uitgevoerd. Houd er rekening mee dat OPEN WEIGHTS niet hetzelfde is als open source in de volle zin — het zegt niets over de trainingsdata, de trainingscode of de commerciële voorwaarden die eraan zijn verbonden.