O gputps.com

Dla każdego GPU szacujemy, ile tokenów na sekundę może wygenerować, uruchamiając dany model językowy open-weight, czy ten model rzeczywiście mieści się w jego pamięci oraz przy której kwantyzacji. Publikujemy te informacje obok tabel specyfikacji, aby decyzja zakupowa była oparta na rzeczywistej odpowiedzi, a nie jedynie na liczbach VRAM i FLOPS, które same w sobie nie mówią nic o prędkości wnioskowania..

Generowanie tokena oznacza odczytanie wag modelu z pamięci raz, więc szybkość dekodowania jest ograniczona przez przepustowość pamięci podzieloną przez rozmiar modelu — to obliczenie leży u podstaw każdej wartości na tej stronie. Ale ta sama karta i model różnią się o 20–40% między silnikami wnioskowania, wersjami silników i formatami kwantyzacji, a żaden arkusz specyfikacji tego nie przewiduje. Publikowanie jednej liczby, która wygląda na pewną, byłoby nieuczciwe wobec tego, jak precyzyjnie można oszacować tego typu wartość. Dlatego każda liczba na tej stronie jest przedstawiana jako zakres, z metodą i danymi wejściowymi stojącymi za nią, zamiast surowej wartości punktowej..