Over gputps.com

Voor elke GPU schatten we hoeveel tokens per seconde het kan genereren bij het draaien van een gegeven OPEN WEIGHT-taalmodel, of dat model daadwerkelijk in zijn MEMORY past, en bij welke KWANTISERING. We publiceren deze naast de specificatietabellen, zodat een aankoopbeslissing is gebaseerd op een daadwerkelijk antwoord in plaats van ruwe VRAM en FLOPS-nummers die op zichzelf niets zeggen over de inferentiesnelheid..

Een token genereren betekent de gewichten van een model één keer uit het geheugen te lezen, zodat de decodeersnelheid begrensd is door de geheugensbandbreedte gedeeld door de modelgrootte — dat is de berekening achter elk cijfer op deze site. Maar dezelfde kaart en model variëren 20–40% tussen inferentie-engines, engineversies en kwantisatieformaten, en geen specificatielijst voorspelt dat. Het publiceren van één zelfverzekerd uitziend getal zou oneerlijk zijn over hoe nauwkeurig deze schatting eigenlijk kan zijn. Dus elk cijfer op deze site wordt verzonden als een bereik, met de methode en input erachter, in plaats van een kale puntwaarde..