Qwen3-8B TPS calculator

Open gewichten Alibaba 8.2B Parameters April 2025

Elke kaart hieronder wordt beoordeeld op dit model bij de door u gekozen contextlengte en minimale kwaliteit. Snelheid is een schatting voor een enkele aanvraag, berekend op basis van de geheugenbandbreedte van de kaart en de grootte van het model na compressie..

Gerekend voor dit model

582 kaarten die het kunnen uitvoeren

818 kaarten waarvoor wij specificaties bewaren

Kleinste kaart die past

Quadro 6000

6 GB · Q3_K_M · 17.0 tok/s

snelste kaart

B200

413 tok/s · 180 GB

Welke GPU's kunnen uitvoeren Qwen3-8B?

Stel de inputs in, lees het antwoord.

Contextlengte tokens

Een langer gesprek heeft meer geheugen nodig, wat dit model van kleinere kaarten kan afhouden.

Minimale kwaliteit

Verbergt kaarten die alleen bij het model passen door het hieronder te comprimeren.

Zoekkaarten

Kaartgeheugen

Bekijk ook kaarten die het niet kunnen uitvoeren

582 kaarten komen overeen

Berekenen

					Behoeften	Quantisering	Fit
413 tok/s 351–496	B200 NVIDIA	180 GB	8,000 GB/s	Jan 2024	10.1 GB	Q8_0	comfortabel
413 tok/s 351–496	B300 NVIDIA	288 GB	8,000 GB/s	Sep 2025	10.1 GB	Q8_0	comfortabel
330 tok/s 198–528 · lage vertrouwen	Radeon Instinct MI350X AMD	288 GB	8,190 GB/s	Jan 2025	10.1 GB	Q8_0	comfortabel
330 tok/s 198–528 · lage vertrouwen	Radeon Instinct MI355X AMD	288 GB	8,190 GB/s	Jan 2025	10.1 GB	Q8_0	comfortabel
264 tok/s 158–422 · lage vertrouwen	Radeon Instinct MI300 AMD	128 GB	6,550 GB/s	Jan 2023	10.1 GB	Q8_0	comfortabel
253 tok/s 215–303	H200 NVL NVIDIA	141 GB	4,890 GB/s	Nov 2024	10.1 GB	Q8_0	comfortabel
253 tok/s 215–303	H200 SXM 141 GB NVIDIA	141 GB	4,890 GB/s	Nov 2024	10.1 GB	Q8_0	comfortabel
242 tok/s 145–387 · lage vertrouwen	Radeon Instinct MI325X AMD	256 GB	6,000 GB/s	Oct 2024	10.1 GB	Q8_0	comfortabel
215 tok/s 129–343 · lage vertrouwen	Radeon Instinct MI300A AMD	128 GB	5,325 GB/s	Dec 2023	10.1 GB	Q8_0	comfortabel
215 tok/s 129–343 · lage vertrouwen	Radeon Instinct MI300X AMD	192 GB	5,325 GB/s	Dec 2023	10.1 GB	Q8_0	comfortabel
215 tok/s 129–343 · lage vertrouwen	Radeon Instinct MI308X AMD	192 GB	5,325 GB/s	Dec 2023	10.1 GB	Q8_0	comfortabel
204 tok/s 173–244	H100 NVL 94 GB NVIDIA	94 GB	3,940 GB/s	Mar 2023	10.1 GB	Q8_0	comfortabel
178 tok/s 151–213	CMP 170HX 8 GB NVIDIA	8 GB	1,490 GB/s	Sep 2021	6.3 GB	Q4_K_M	Strak
174 tok/s 148–208	H100 PCIe 96 GB NVIDIA	96 GB	3,360 GB/s	Mar 2023	10.1 GB	Q8_0	comfortabel
174 tok/s 148–208	H100 SXM5 80 GB NVIDIA	80 GB	3,360 GB/s	Oct 2022	10.1 GB	Q8_0	comfortabel
174 tok/s 148–208	H100 SXM5 94 GB NVIDIA	94 GB	3,360 GB/s	Mar 2023	10.1 GB	Q8_0	comfortabel
174 tok/s 148–208	H100 SXM5 96 GB NVIDIA	96 GB	3,360 GB/s	Mar 2023	10.1 GB	Q8_0	comfortabel
174 tok/s 148–208	H800 SXM5 NVIDIA	80 GB	3,360 GB/s	Mar 2023	10.1 GB	Q8_0	comfortabel
132 tok/s 79–211 · lage vertrouwen	Radeon Instinct MI250 AMD	128 GB	3,280 GB/s	Nov 2021	10.1 GB	Q8_0	comfortabel
132 tok/s 79–211 · lage vertrouwen	Radeon Instinct MI250X AMD	128 GB	3,280 GB/s	Nov 2021	10.1 GB	Q8_0	comfortabel
117 tok/s 100–140	CMP 170HX 10 GB NVIDIA	10 GB	1,560 GB/s	Sep 2021	8.2 GB	Q6_K	Strak
110 tok/s 66–176 · lage vertrouwen	Data Center GPU Max 1550 Intel	128 GB	3,280 GB/s	Jan 2023	10.1 GB	Q8_0	comfortabel
108 tok/s 65–172 · lage vertrouwen	Data Center GPU Max Subsystem Intel	128 GB	3,210 GB/s	Jan 2023	10.1 GB	Q8_0	comfortabel
105 tok/s 90–126	A100 SXM4 80 GB NVIDIA	80 GB	2,040 GB/s	Nov 2020	10.1 GB	Q8_0	comfortabel
105 tok/s 90–126	A100X NVIDIA	80 GB	2,040 GB/s	Jun 2021	10.1 GB	Q8_0	comfortabel

Snelheden zijn schattingen voor een enkele aanvraag — één gesprek tegelijk — berekend op basis van geheugenbandbreedte, modelgrootte en kwantisatie. Werkelijke doorvoer varieert met de inference-runtime en de versie ervan. Cijfers die door hardwarefabrikanten worden gepubliceerd, meten vele gelijktijdige aanvragen en liggen veel hoger.

Op record

Volledige specificatie

Alles over dit model vastgelegd. Het meeste beschrijft hoe het getraind is in plaats van hoe het draait — nuttige context om te beoordelen hoeveel werk erin gestoken is en hoe het zich verhoudt tot modellen die op een andere schaal zijn gebouwd.

Oorsprong

Wie heeft dit model gebouwd, waar en wanneer het werd gepubliceerd.

Organisatie: Alibaba
Organisatie type: Industry
Land: China
Gepubliceerd: 29 April 2025

Wat het doet

De probleemgebieden waarvoor het model is gebouwd. Een model kan er verschillende van elk bevatten.

Domein: Language
Taak: Language modeling/generation, Question answering, Mathematical reasoning, Quantitative reasoning, Code generation, Translation

Grootte

Hoe groot het model is en hoeveel data erop is getraind. Parameters zijn de cijfers die bepalen of het op een bepaalde grafische kaart past.

Parameters: 8.2B
Opleidingsgegevens: tokens
Epochs: 1

Training berekeningen

De rekeningen die worden uitgevoerd om het model te trainen, gemeten in drijvende-komma-berekeningen. Het is een maat voor wat de trainingsrun kostte, niet hoe snel het voltooide model je antwoordt.

Training berekeningen: 1.8 × 10²⁴ FLOP
Hoe het werd opgericht: Operation counting

Beschikbaarheid

Of je het model kunt verkrijgen en het op je eigen hardware kunt draaien, wat bepaalt of een van de grafische kaartcijfers op deze pagina van toepassing is.

Gewichten: Open — downloadable
Model toegang: Open weights (unrestricted)
Trainingscode: Unreleased
Hugging Face: Qwen

Hoe het is geclassificeerd

Labels de bron dataset toepast bij het volgen van opmerkelijke modellen, en hoe zeker het is van de invoer.

Waarschijnlijk boven 10²³ FLOP: Yes
Vereiste vertrouwen: Confident

Bronnen

Waar deze record vandaan komt en wanneer het voor het laatst is gecontroleerd.

Referentie: Qwen3: Think Deeper, Act Faster
Laatst bijgewerkt: 28 November 2025

De extremen

De tien snelste GPUs die uitvoeren Qwen3-8B

Gerangschikt op geschatte tokens per seconde, nieuwste kaart eerst waar snelheden gelijk zijn. Omdat generatie gebonden is aan geheugendoorvoersnelheid, volgt deze ordening de doorvoersnelheid in plaats van een gamingbenchmark..

De kleinste GPUs die nog steeds kunnen uitvoeren Qwen3-8B

De goedkoopste route erin, op basis van geheugencapaciteit. Een krappe pasvorm draait het model maar laat niets over voor een langere conversatie..

Wat de cijfers betekenen

De hardwarekant

Minimale kaart

Quadro 6000

Geheugen nodig

5.3 GB

Snelste

413 tok/s

Qwen3-8B is klein genoeg met 8,2B parameters dat hardware zelden de hindernis is — 582 van de kaarten die we volgen kunnen het draaien, inclusief kaarten van enkele jaren oud.

Aan de lage kant kan een Quadro 6000 het aan - 6 GB, bij Q3_K_M, voor ongeveer 17,0 tokens per seconde.

Een B200 is de snelste die we ervoor berekenen: ongeveer 413 tokens per seconde, uit 8.000 GB/s geheugenbandbreedte.

Over dit model

Qwen3-8B werd in april 2025 gepubliceerd door Alibaba, in China. Het komt uit de industrie.

Het werkt in TAAL, en wordt geregistreerd als het uitvoeren van taalmodellering/generatie, vraagbeantwoording, wiskundig redeneren, kwantitatief redeneren, codegeneratie, vertaling.

Omdat de gewichten zijn vrijgegeven, hangt niets van het draaien ervan af van een aanbieder die beschikbaar blijft — het is van jou zodra het is gedownload. Het is gepubliceerd onder de Qwen-organisatie op Hugging Face.

Hoe snel het draait, en waarom

Het mediane resultaat is ongeveer 26,0 tokens per seconde; 554 kaarten produceren tekst sneller dan de meeste mensen het lezen.

Elk gewicht neemt deel in elke token hier, dus bandbreedte is het hele verhaal: de ranglijst hieronder is in wezen een ranglijst van geheugendoorvoer.

Omdat de architectuur is geregistreerd, is de geheugen kolom afgeleid in plaats van geschat.

Hoe het was getraind

Het produceren ervan vereiste ongeveer 1.8 × 10²⁴ FLOP aan rekenkracht, wat een verklaring is over het trainingsbudget in plaats van over inferentie.

Stapsgewijs

Hoe kiest u een GPU voor Qwen3-8B

De bovenstaande tabel heeft al elke kaart beoordeeld waarvoor wij specificaties bezitten tegen dit model. Om tot uw antwoord te komen, doorloopt u zes stappen..

01

Begin vanaf de geheugen kolom

De tabel bevat elke kaart die Qwen3-8B kan bevatten — ongeveer 5,3 GB bij Q3_K_M. Dat cijfer, niet de hoofdpresentatie van de kaart, bepaalt of het draait.
02

Stem de context af op uw werkelijke gebruik

Langere gesprekken kosten geheugen bovenop wat de gewichten nodig hebben. Verplaats de schuifregelaar naar je echte werklengte voordat je een rij voor Qwen3-8B vertrouwt.
03

Stel een kwaliteitsvloer in

Elke kaart draait de minst-gecomprimeerde kopie die hij kan bevatten — Q3_K_M op de kleinste kaart die past. Het instellen van een vloer laat de kaarten vallen die alleen Qwen3-8B kunnen beheren door het verder te persen dan je zou willen.
04

Vergelijk tokens per seconde, niet specificaties

De rangschikking op basis van tokens per seconde voor Qwen3-8B volgt de geheugendse bandbreedte, niet het aantal kernen, wat de reden is dat de B200 het bovenaan staat met 413 tok/s.
05

Kijk naar de speling, niet alleen naar de pasvorm

Een krappe pasvorm draait Qwen3-8B maar laat niets over voor een langere conversatie; comfortabel heeft ruimte. Als je verwacht de context te vergroten, koop dan voor comfortabel.
06

Bekijk wat die kaart nog meer draait

Elke kaartpagina herhaalt deze veeg voor elk model dat we hebben. Het beantwoordt waarvoor de hardware nog meer goed is, naast Qwen3-8B.

Antwoorden

Qwen3-8B — Veelgestelde vragen

Zouden twee GPU's Qwen3-8B sneller draaien?

Twee kaarten kopen geheugen in plaats van snelheid. Dat doet er voor Qwen3-8B alleen toe als één kaart het niet kan bevatten — 582 kan dat, dus voegt een tweede weinig toe.

Waarom verschilt de kwantisatie tussen kaarten voor Qwen3-8B?

Elke kaart wordt weergegeven met de minst-gecomprimeerde kopie die het kan bevatten, en Qwen3-8B verschijnt op 4 verschillende compressieniveaus over de kaarten die het kunnen bevatten. Grotere kaarten krijgen de nauwkeurigere versie.

Hoe nauwkeurig zijn deze Qwen3-8B snelheidsschattingen?

Dit zijn schattingen met echte foutmarges. Het snelste resultaat hier, 351–496 tok/s op de B200, zou redelijkerwijs overal binnen zijn gepubliceerde bereik kunnen liggen, afhankelijk van welke runtime je gebruikt.

Welke GPU heb ik nodig om Qwen3-8B te draaien?

De kleinste kaart in onze catalogus die Qwen3-8B ondersteunt is de Quadro 6000, met 6 GB geheugen. Het draait het model op Q3_K_M met ongeveer 5.3 GB en produceert ruwweg 17.0 tokens per seconde. In totaal kunnen 582 kaarten het draaien.

Hoe snel is Qwen3-8B op een GPU?

Het hangt van de kaart af. De snelste die we berekenen is een B200 met ongeveer 413 tokens per seconde; de traagste die het nog kan draaien, haalt aanzienlijk minder. De leessnelheid ligt rond de tien tokens per seconde, en 554 van de kaarten die Qwen3-8B kunnen draaien, halen dat.

Hoeveel VRAM heeft Qwen3-8B nodig?

Ongeveer 5,3 GB bij Q3_K_M-compressie, wat is wat de kleinste kaart die het draait gebruikt. Minder compressie heeft meer nodig: de cijfers in de geheugen kolom hierboven zijn herberekend voor elke kaart, omdat elke kaart de minst-gecomprimeerde versie vasthoudt die mogelijk is.

Kan ik Qwen3-8B draaien op een 8 GB GPU?

Ja. Een CMP 170HX 8 GB met 8 GB draait het op Q4_K_M, gebruikt ongeveer 6,3 GB en genereert ruwweg 178 tokens per seconde — een krappe pasvorm.

Kan ik Qwen3-8B draaien op een 12 GB GPU?

Ja. Een GeForce RTX 3080 Ti met 12 GB draait het op Q8_0, met ongeveer 10,1 GB gebruik en genereert ongeveer 47,1 tokens per seconde — een krappe pasvorm.

Kan ik Qwen3-8B draaien op een 16 GB GPU?

Ja. Een Tesla V100 SXM2 16 GB draait het op Q8_0, gebruikt ongeveer 10,1 GB en genereert ongeveer 58,4 tokens per seconde - een comfortabele pasvorm.

Kan ik Qwen3-8B draaien op een 24 GB GPU?

Ja. Een GeForce RTX 5090 D V2 met 24 GB draait het op Q8_0, gebruikt ongeveer 10,1 GB en genereert ongeveer 69,2 tokens per seconde — een comfortabele fit.

Is Qwen3-8B open source?

De gewichten zijn gepubliceerd, dus Qwen3-8B kan worden gedownload en uitgevoerd op je eigen hardware. Merk op dat open gewichten niet hetzelfde is als open source in de volle zin — het zegt niets over de trainingsdata, de trainingscode of de commerciële voorwaarden die eraan verbonden zijn.

Hoeveel parameters heeft Qwen3-8B?

Qwen3-8B heeft 8,2 miljard parameters. Aantal parameters: 8,2 miljard Aantal parameters (niet-embedding): 6,95 miljard Aantal lagen: 36 Aantal aandachtshoofden (GQA): 32 voor Q en 8 voor KV Contextlengte: 32.768 van nature en 131.072 tokens met YaRN. Dat cijfer is het totaal, en het bepaalt hoeveel geheugen het model nodig heeft - ruwweg een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.

Wie heeft Qwen3-8B gemaakt?

Qwen3-8B werd gepubliceerd door Alibaba, gevestigd in China, gecategoriseerd als industrie.

Wanneer werd Qwen3-8B uitgebracht?

Qwen3-8B werd gepubliceerd in april 2025.

Waarvoor wordt Qwen3-8B gebruikt?

Qwen3-8B werkt in Taal, en wordt geregistreerd als het afhandelen van taalmodellering/gegenereerde, Vraagbeantwoording, Wiskundig redeneren, Kwantitatief redeneren, Codegeneratie, Vertaling. Dit zijn de gebieden waar het omheen is ontworpen; ze beschrijven intentie in plaats van een strikte grens.

Waar kan ik Qwen3-8B downloaden?

De gewichten zijn gepubliceerd onder de Qwen organisatie op Hugging Face. We hosten geen modelbestanden - deze site berekent welke hardware nodig is om ze uit te voeren.

Hoeveel rekenkracht is gebruikt om Qwen3-8B te trainen?

Ongeveer 1.8 × 10²⁴ FLOP. Dat meet wat het produceren van het model kost en zegt niets over hoe snel het antwoord geeft zodra het getraind is - de inferentiesnelheid komt van geheugenbandbreedte, niet van het trainingsbudget.

Kan ik Qwen3-8B draaien als het niet in mijn GPU past?

Alleen door te ontlasten, wat meestal een valse economie is: het deel in het systeemgeheugen sleept het geheel naar beneden - de dichtstbijzijnde misser die we berekenen komt 1,8 GB tekort. Onze cijfers voor Qwen3-8B gaan ervan uit dat het volledig aanwezig is.

Bron

Oorspronkelijke publicatie

Laast bijgewerkt 28 November 2025

De andere richting

Vanuit het andere perspectief bekijken?

Deze pagina begint bij het model. Als u al een kaart bezit en alles wilt weten wat het zal uitvoeren, Begin liever bij de hardware.

Alle AI-modellen