A gputps.com-ról

Bármely GPU esetén megbecsüljük, hogy másodpercenként hány tokent tud generálni egy adott open weight nyelvi modell futtatásakor, függetlenül attól, hogy az a modell valóban elfér-e a memória méretében, és hogy melyik kvantálásnál. Ezen adatokat párhuzamosan közzétesszük a specifikációs táblázatokkal, így a vásárlási döntés egy tényleges válaszon alapul, nem csupán a nyers VRAM és FLOPS számokon, amelyek önmagukban nem mondanak semmit az inferencia sebességről..

Egy token generálása azt jelenti, hogy egy modell súlyait egyszer olvassuk ki a MEMÓRIÁBÓL, így a dekódolási sebesség a MEMÓRIA SÁVSZÉLE és a modell méretének hányadosával van korlátozva — ez a számítás áll minden szám mögött ezen az oldalon. De ugyanaz a KÁRTYA és modell 20–40%-kal eltér a következtetési motorok, motor verziók és kvantálási formátumok között, és egyik műszaki adatlap sem jósolja meg ezt. Egy magabiztosnak tűnő szám közzététele tiszteletteljes lenne a pontos becslés mértékével kapcsolatban, amelyet ez a fajta becslés valójában képvisel. Így minden szám ezen az oldalon skálaként kerül közzétételre, a mögöttes módszerrel és bemenetekkel együtt, nem pedig egy puszta pontértékként..