GPU TPS-calculator

Dit is een database die houdt 818 grafische kaarten, gefilterd op de kaarten met voldoende GEHEUGEN om een taalmodel in zijn geheel te bevatten. Elke kaart heeft zijn eigen pagina, en op die pagina is elk model dat we volgen beoordeeld — of het past, bij welke compressie, en hoeveel tokens per seconde het naar verwachting zal produceren.

De berekening draait wanneer je een GPU card opent in plaats van opgezocht te worden in een opgeslagen tabel, wat het mogelijk maakt dat de context length en de minimale kwaliteit dingen zijn die je instelt in plaats van dingen die wij voor jou aannamen. Verander een van beide en elke waarde wordt opnieuw berekend.

Het draaien van een taalmiddel op je eigen hardware werd in korte tijd een gewone zaak. Open-weight modellen haalden ver genoeg in om werkelijk nuttig te zijn, en de tools om ze uit te voeren vereisten niet langer een onderzoekachtergrond. Wat niet tegelijkertijd arriveerde, was een rechtstreekse antwoord op de eerste vraag die iemand stelt: zal het draaien op de GPU kaart die ik al heb, en zal het snel genoeg zijn om het het waard te maken om te gebruiken.

Specificaties geven hier geen antwoord op. Ze zijn geschreven voor grafische workloads en beginnen met de cijfers die de framesnelheden bepalen, die bijna geheel de verkeerde zijn. De twee cijfers die daadwerkelijk de uitkomst bepalen zijn geheugencapaciteit, die bepaalt of een model past, en geheugendoorvoer, die bepaalt hoe snel het genereert zodra het dat doet.

Tokens per second is het getal dat de uitkomst uitdrukt in iets dat je kunt voelen. Leessnelheid ligt ergens rond de tien tokens per second, dus alles boven dat arriveert sneller dan je het kunt lezen en alles ver beneden voelt als wachten. Dat is het cijfer dat deze site berekent, voor elke combinatie van card en model die het heeft.

Geheugen in de catalogus begint bij 4 GB en bereikt 288 GB. Die reikwijdte is het verschil tussen een card die beperkt is tot de kleinste bruikbare modellen en een die modellen bevat die geen enkele desktopmachine kan bereiken — capaciteit is een harde beperking in plaats van een geleidelijke afweging, dus een model past of het loopt niet.

Geheugenbandbreedte begint bij 10 GB/s en bereikt 8,190 GB/s, een figuur vastgehouden door Radeon Instinct MI355X. Omdat het genereren van elk token betekent dat het hele model eenmaal uit het geheugen moet worden gelezen, vertaalt die spreiding zich bijna direct in een spreiding in generatie snelheid: een kaart met tien keer de bandbreedte produceert tokens ruwweg tien keer sneller op hetzelfde model.

Kaarten in de catalogus zijn gemaakt door AMD, ATI, Intel and NVIDIA. De fabrikant is belangrijker dan het zou moeten zijn: inferentiesoftware heeft veel meer aandacht gehad voor het CUDA-pad dan voor enig ander, zodat een AMD- of Intel-kaart van equivalente bandbreedte over het algemeen een kleinere aandeel van zijn theoretische plafond bereikt. Onze schattingen passen een straf toe voor dat in plaats van te doen alsof de hardware de enige variabele is.

Het stroomverbruik begint bij 6 W en bereikt 2,400 W. Het hogere segment is datacenterhardware die een desktopvoeding niet kan voeden, en het is de beperking die mensen als laatste ontdekken - nadat de kaart in het budget en de behuizing past.

Releasedata starten in 2009 en run naar 2025, dus de catalogus dekt hardware die mensen nog bezitten evenals hardware die ze mogelijk willen kopen. Een oudere CARD is niet uitgesloten omdat hij oud is - als hij voldoende MEMORY heeft, kan hij nog steeds een model draaien, en de pagina zal zeggen hoe snel.

Leveranciers kunnen kaarten te koop aanbieden tegen elke vermelding in deze catalogus, zodat een kaartpagina zowel kan tonen wat de hardware draait als waar het gekocht kan worden. Lijsten zijn gekoppeld aan de specifieke bordvariant in plaats van aan een modelnaam, wat hier belangrijker is dan normaal - dezelfde naam dekt vaak verschillende geheugencapaciteiten, en capaciteit is hetgeen dat bepaalt welke modellen draaien.