Gemma 4 12B TPS calculator

Open gewichten Google DeepMind 12B Parameters June 2026

Elke kaart hieronder wordt beoordeeld op dit model bij de door u gekozen contextlengte en minimale kwaliteit. Snelheid is een schatting voor een enkele aanvraag, berekend op basis van de geheugenbandbreedte van de kaart en de grootte van het model na compressie..

Gerekend voor dit model

509 kaarten die het kunnen uitvoeren

818 kaarten waarvoor wij specificaties bewaren

Kleinste kaart die past

Xeon Phi 5110P

8 GB · Q3_K_M · 19.9 tok/s

snelste kaart

B200

284 tok/s · 180 GB

Welke GPU's kunnen uitvoeren Gemma 4 12B?

Stel de inputs in, lees het antwoord.

Contextlengte tokens

Een langer gesprek heeft meer geheugen nodig, wat dit model van kleinere kaarten kan afhouden.

Minimale kwaliteit

Verbergt kaarten die alleen bij het model passen door het hieronder te comprimeren.

Zoekkaarten

Kaartgeheugen

Bekijk ook kaarten die het niet kunnen uitvoeren

509 kaarten komen overeen

Berekenen

					Behoeften	Quantisering	Fit
284 tok/s 170–454 · lage vertrouwen	B200 NVIDIA	180 GB	8,000 GB/s	Jan 2024	13.5 GB	Q8_0	comfortabel
284 tok/s 170–454 · lage vertrouwen	B300 NVIDIA	288 GB	8,000 GB/s	Sep 2025	13.5 GB	Q8_0	comfortabel
226 tok/s 136–362 · lage vertrouwen	Radeon Instinct MI350X AMD	288 GB	8,190 GB/s	Jan 2025	13.5 GB	Q8_0	comfortabel
226 tok/s 136–362 · lage vertrouwen	Radeon Instinct MI355X AMD	288 GB	8,190 GB/s	Jan 2025	13.5 GB	Q8_0	comfortabel
181 tok/s 109–290 · lage vertrouwen	Radeon Instinct MI300 AMD	128 GB	6,550 GB/s	Jan 2023	13.5 GB	Q8_0	comfortabel
173 tok/s 104–277 · lage vertrouwen	H200 NVL NVIDIA	141 GB	4,890 GB/s	Nov 2024	13.5 GB	Q8_0	comfortabel
173 tok/s 104–277 · lage vertrouwen	H200 SXM 141 GB NVIDIA	141 GB	4,890 GB/s	Nov 2024	13.5 GB	Q8_0	comfortabel
166 tok/s 100–265 · lage vertrouwen	Radeon Instinct MI325X AMD	256 GB	6,000 GB/s	Oct 2024	13.5 GB	Q8_0	comfortabel
147 tok/s 88–236 · lage vertrouwen	Radeon Instinct MI300A AMD	128 GB	5,325 GB/s	Dec 2023	13.5 GB	Q8_0	comfortabel
147 tok/s 88–236 · lage vertrouwen	Radeon Instinct MI300X AMD	192 GB	5,325 GB/s	Dec 2023	13.5 GB	Q8_0	comfortabel
147 tok/s 88–236 · lage vertrouwen	Radeon Instinct MI308X AMD	192 GB	5,325 GB/s	Dec 2023	13.5 GB	Q8_0	comfortabel
143 tok/s 86–228 · lage vertrouwen	CMP 170HX 8 GB NVIDIA	8 GB	1,490 GB/s	Sep 2021	6.5 GB	Q3_K_M	Strak
140 tok/s 84–223 · lage vertrouwen	H100 NVL 94 GB NVIDIA	94 GB	3,940 GB/s	Mar 2023	13.5 GB	Q8_0	comfortabel
128 tok/s 77–204 · lage vertrouwen	CMP 170HX 10 GB NVIDIA	10 GB	1,560 GB/s	Sep 2021	7.9 GB	Q4_K_M	Strak
119 tok/s 71–191 · lage vertrouwen	H100 PCIe 96 GB NVIDIA	96 GB	3,360 GB/s	Mar 2023	13.5 GB	Q8_0	comfortabel
119 tok/s 71–191 · lage vertrouwen	H100 SXM5 80 GB NVIDIA	80 GB	3,360 GB/s	Oct 2022	13.5 GB	Q8_0	comfortabel
119 tok/s 71–191 · lage vertrouwen	H100 SXM5 94 GB NVIDIA	94 GB	3,360 GB/s	Mar 2023	13.5 GB	Q8_0	comfortabel
119 tok/s 71–191 · lage vertrouwen	H100 SXM5 96 GB NVIDIA	96 GB	3,360 GB/s	Mar 2023	13.5 GB	Q8_0	comfortabel
119 tok/s 71–191 · lage vertrouwen	H800 SXM5 NVIDIA	80 GB	3,360 GB/s	Mar 2023	13.5 GB	Q8_0	comfortabel
90.7 tok/s 54–145 · lage vertrouwen	Radeon Instinct MI250 AMD	128 GB	3,280 GB/s	Nov 2021	13.5 GB	Q8_0	comfortabel
90.7 tok/s 54–145 · lage vertrouwen	Radeon Instinct MI250X AMD	128 GB	3,280 GB/s	Nov 2021	13.5 GB	Q8_0	comfortabel
75.6 tok/s 45–121 · lage vertrouwen	Data Center GPU Max 1550 Intel	128 GB	3,280 GB/s	Jan 2023	13.5 GB	Q8_0	comfortabel
74.0 tok/s 44–118 · lage vertrouwen	Data Center GPU Max Subsystem Intel	128 GB	3,210 GB/s	Jan 2023	13.5 GB	Q8_0	comfortabel
73.5 tok/s 44–118 · lage vertrouwen	RTX A5000-8Q NVIDIA	8 GB	768 GB/s	Apr 2021	6.5 GB	Q3_K_M	Strak
72.3 tok/s 43–116 · lage vertrouwen	A100 SXM4 80 GB NVIDIA	80 GB	2,040 GB/s	Nov 2020	13.5 GB	Q8_0	comfortabel

Snelheden zijn schattingen voor een enkele aanvraag — één gesprek tegelijk — berekend op basis van geheugenbandbreedte, modelgrootte en kwantisatie. Werkelijke doorvoer varieert met de inference-runtime en de versie ervan. Cijfers die door hardwarefabrikanten worden gepubliceerd, meten vele gelijktijdige aanvragen en liggen veel hoger.

Op record

Volledige specificatie

Alles over dit model vastgelegd. Het meeste beschrijft hoe het getraind is in plaats van hoe het draait — nuttige context om te beoordelen hoeveel werk erin gestoken is en hoe het zich verhoudt tot modellen die op een andere schaal zijn gebouwd.

Oorsprong

Wie heeft dit model gebouwd, waar en wanneer het werd gepubliceerd.

Organisatie: Google DeepMind
Organisatie type: Industry
Land: United States of America
Gepubliceerd: 3 June 2026

Wat het doet

De probleemgebieden waarvoor het model is gebouwd. Een model kan er verschillende van elk bevatten.

Domein: Language, Multimodal, Audio
Taak: Language modeling/generation, Question answering

Grootte

Hoe groot het model is en hoeveel data erop is getraind. Parameters zijn de cijfers die bepalen of het op een bepaalde grafische kaart past.

Parameters: 12B
Opleidingsgegevens: tokens

Beschikbaarheid

Of je het model kunt verkrijgen en het op je eigen hardware kunt draaien, wat bepaalt of een van de grafische kaartcijfers op deze pagina van toepassing is.

Gewichten: Open — downloadable
Model toegang: Open weights (unrestricted)
Trainingscode: Unreleased
Hugging Face: google

Hoe het is geclassificeerd

Labels de bron dataset toepast bij het volgen van opmerkelijke modellen, en hoe zeker het is van de invoer.

Vereiste vertrouwen: Confident

Bronnen

Waar deze record vandaan komt en wanneer het voor het laatst is gecontroleerd.

Laatst bijgewerkt: 10 June 2026

De extremen

De tien snelste GPUs die uitvoeren Gemma 4 12B

Gerangschikt op geschatte tokens per seconde, nieuwste kaart eerst waar snelheden gelijk zijn. Omdat generatie gebonden is aan geheugendoorvoersnelheid, volgt deze ordening de doorvoersnelheid in plaats van een gamingbenchmark..

De kleinste GPUs die nog steeds kunnen uitvoeren Gemma 4 12B

De goedkoopste route erin, op basis van geheugencapaciteit. Een krappe pasvorm draait het model maar laat niets over voor een langere conversatie..

Wat de cijfers betekenen

Hardwarevereisten in de praktijk

Minimale kaart

Xeon Phi 5110P

Geheugen nodig

6.5 GB

Snelste

284 tok/s

Gemma 4 12B is klein genoeg met 12B parameters dat hardware zelden de obstakel is — 509 van de kaarten die we volgen kunnen het draaien, inclusief kaarten van enkele jaren oud.

Het toegangspunt is de Xeon Phi 5110P: 8 GB geheugen, Q3_K_M compressie, ongeveer 19,9 tokens per seconde.

Het snelste resultaat komt van een B200 met ongeveer 284 tokens per seconde - zijn 8.000 GB/s bandbreedte is wat dat mogelijk maakt.

Waar het vandaan kwam

Gemma 4 12B werd uitgebracht door Google DeepMind, in de Verenigde Staten van Amerika, in juni 2026. Het komt uit de industrie.

Het werkt in Taal, Multimodaal, Audio, en wordt geregistreerd als het uitvoeren van taalsmodellering/generatie, Vraagbeantwoording.

Omdat de gewichten zijn vrijgegeven, hangt niets van het draaien ervan af of een aanbieder beschikbaar blijft - het is van jou zodra het is gedownload. Het is gepubliceerd onder de google organisatie op Hugging Face.

Het begrijpen van de snelheden

De helft van de kaarten die het vasthouden, beheert meer dan 20,8 tokens per seconde, en 455 overschrijden de leessnelheid outright.

Elk gewicht neemt deel in elke token hier, dus bandbreedte is het hele verhaal: de ranglijst hieronder is in wezen een ranglijst van geheugendoorvoer.

Zonder de aandacht lay-out op record is de geheugen kolom een benadering. Het is dicht genoeg om hardware op te kiezen, en het minst betrouwbaar bij lange context.

Stapsgewijs

Hoe kiest u een GPU voor Gemma 4 12B

De bovenstaande tabel heeft al elke kaart beoordeeld waarvoor wij specificaties bezitten tegen dit model. Om tot uw antwoord te komen, doorloopt u zes stappen..

01

Lees eerst het geheugenfiguur

Kijk naar wat Gemma 4 12B daadwerkelijk nodig heeft — rond de 6.5 GB bij Q3_K_M. Geen enkele hoeveelheid verwerkingskracht compenseert voor een kaart die het niet kan vasthouden.
02

Bepaal hoe lang je gesprekken duren

Längere gesprekken kosten geheugen bovenop wat de gewichten nodig hebben. Beweeg de schuifregelaar naar je echte werkduur voordat je enige rij vertrouwt voor Gemma 4 12B.
03

Kies hoe ver je het zult comprimeren

Elke kaart draait de het minst-gecomprimeerde kopie die hij kan vasthouden — Q3_K_M op de kleinste kaart die past. Het instellen van een vloer laat de kaarten vallen die alleen Gemma 4 12B kunnen beheren door het verder samen te persen dan je zou willen.
04

Vergelijk tokens per seconde, niet specificaties

Ranking op basis van tokens per seconde voor Gemma 4 12B volgt het geheugenbandbreedte, niet het aantal kernen, wat de reden is dat de B200 het afsluit op 284 tok/s.
05

Controleer het pasadvies voordat je koopt

Tight betekent dat Gemma 4 12B laadt en werkt, met geen ruimte om de context later te verhogen. Comfortable betekent dat je dat kunt. Het verschil is belangrijker dan een paar tokens per seconde.
06

Controleer de kaart van de andere kant

Elke kaartpagina herhaalt deze sweeping voor elk model dat we hebben. Het beantwoordt waarvoor de hardware verder goed is, naast Gemma 4 12B.

Antwoorden

Gemma 4 12B — Veelgestelde vragen

Hoeveel VRAM heeft Gemma 4 12B nodig?

Ongeveer 6,5 GB bij Q3_K_M-compressie, wat is wat de kleinste kaart die het draait gebruikt. Minder compressie heeft meer nodig: de cijfers in de geheugencolom hierboven worden opnieuw berekend voor elke kaart, omdat elke kaart de het minst-gecomprimeerde versie die het kan vasthouden bevat.

Kan ik Gemma 4 12B draaien op een 8 GB GPU?

Ja. Een CMP 170HX 8 GB met 8 GB draait het op Q3_K_M, gebruikt ongeveer 6,5 GB en genereert ruwweg 143 tokens per seconde — een krappe pasvorm.

Kan ik Gemma 4 12B draaien op een 12 GB GPU?

Ja. Een GeForce RTX 3080 Ti met 12 GB draait het op Q6_K, gebruik makend van ongeveer 10,7 GB en genereert ongeveer 47,0 tokens per seconde - een krappe pas.

Kan ik Gemma 4 12B draaien op een 16 GB GPU?

Ja. Een Tesla V100 SXM2 16 GB met 16 GB draait het op Q8_0, gebruikt ongeveer 13,5 GB en genereert ruwweg 40,1 tokens per seconde — een krappe pasvorm.

Kan ik Gemma 4 12B draaien op een 24 GB GPU?

Ja. Een GeForce RTX 5090 D V2 met 24 GB draait het op Q8_0, gebruikt ongeveer 13,5 GB en genereert ongeveer 47,5 tokens per seconde — een comfortabele pasvorm.

Is Gemma 4 12B open source?

De gewichten zijn gepubliceerd, dus Gemma 4 12B kan gedownload en uitgevoerd worden op je eigen hardware. Merk op dat open gewichten niet hetzelfde zijn als open source in de volle zin — het zegt niets over de trainingsdata, de trainingscode of de commerciële voorwaarden die eraan verbonden zijn.

Hoeveel parameters heeft Gemma 4 12B?

Gemma 4 12B heeft 12B parameters. Dat cijfer is het totaal, en het bepaalt hoeveel geheugen het model nodig heeft - ongeveer een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.

Wie heeft Gemma 4 12B gemaakt?

Gemma 4 12B werd gepubliceerd door Google DeepMind, gevestigd in de Verenigde Staten van Amerika, gecategoriseerd als industrie.

Wanneer werd Gemma 4 12B uitgebracht?

Gemma 4 12B werd gepubliceerd in juni 2026.

Waarvoor wordt Gemma 4 12B gebruikt?

Gemma 4 12B werkt in Taal, Multimodaal, Audio, en is geregistreerd als het afhandelen van taalmodellering/-generatie, Vraag beantwoording. Dit zijn de gebieden waar het omheen is ontworpen; ze beschrijven intentie in plaats van een harde grens.

Waar kan ik Gemma 4 12B downloaden?

De gewichten zijn gepubliceerd onder de Google-organisatie op Hugging Face. We hosten geen modelbestanden — deze site berekent welke hardware nodig is om ze te draaien.

Kan ik Gemma 4 12B draaien als het niet in mijn GPU past?

Slechts door af te laden, wat meestal een valse economie is: het gedeelte in het systeemgeheugen trekt het geheel naar beneden - de dichtstbijzijnde misrekening die we berekenen, mist 2,5 GB. Onze cijfers voor Gemma 4 12B gaan ervan uit dat het volledig aanwezig is.

Zouden twee GPU's Gemma 4 12B sneller draaien?

Een tweede kaart verdubbelt ruwweg het beschikbare geheugen, maar niet de generatie snelheid. Met 509 kaarten die al in staat zijn om Gemma 4 12B alleen te draaien, is de casus voor koppelen zwak.

Waarom verschilt de kwantisatie tussen kaarten voor Gemma 4 12B?

Omdat de capaciteit varieert, varieert ook hoeveel druk er op Gemma 4 12B moet worden uitgeoefend - 5 verschillende niveaus verschijnen in de tabel hierboven. Stel een minimale kwaliteit in om op één te vergelijken.

Hoe nauwkeurig zijn deze Gemma 4 12B snelheidsschattingen?

Elke figuur is afgeleid van geheugenbandbreedte en modelgrootte, niet gebenchmarkt. Daarom wordt iedere figuur gepubliceerd als een bereik zoals 170–454 tok/s op de B200 in plaats van een enkel getal.

Welke GPU heb ik nodig om Gemma 4 12B te draaien?

De kleinste kaart in onze catalogus die Gemma 4 12B ondersteunt is de Xeon Phi 5110P, met 8 GB geheugen. Het draait het model op Q3_K_M met ongeveer 6,5 GB en produceert ongeveer 19,9 tokens per seconde. In totaal 509 kaarten kunnen het draaien.

Hoe snel is Gemma 4 12B op een GPU?

Het hangt van de kaart af. De snelste die we berekenen is een B200 met ongeveer 284 tokens per seconde; de langzaamste die het nog steeds draait, haalt aanzienlijk minder. De leessnelheid is ongeveer tien tokens per seconde, en 455 van de kaarten die Gemma 4 12B kunnen draaien, halen dat.

Bron

Oorspronkelijke publicatie

Laast bijgewerkt 10 June 2026

De andere richting

Vanuit het andere perspectief bekijken?

Deze pagina begint bij het model. Als u al een kaart bezit en alles wilt weten wat het zal uitvoeren, Begin liever bij de hardware.

Alle AI-modellen