Czy twoja GPU może uruchomić ten AI Model? Kalkulator TPS GPU

Znajdź swoją kartę w katalogu GPU i otwórz jej stronę — znajduje się na niej każda wersja, którą możemy ocenić w stosunku do niej, czy każda z nich mieści się w VRAM, oraz szacunkowa liczba tokenów na sekundę. Możesz również zacząć od modelu i zobaczyć, które karty mogą go uruchomić, co jest tym samym obliczeniem z przeciwnego kierunku.

Jeśli ma przynajmniej kilka gigabajtów pamięci własnej, to prawie na pewno coś. Zintegrowana grafika, która dzieli pamięć systemową, jest głównym wyjątkiem, ponieważ nie ma dedykowanej puli do przechowywania modelu. Poza tym to pytanie, który model, przy jakim kompresji — nie tak lub nie.

Generowanie tokena oznacza odczytanie wag modelu z pamięci tylko raz, więc prędkość jest ograniczona przez przepustowość pamięci podzieloną przez to, ile musi być odczytane na token — co zależy od rozmiaru modelu, jego architektury i formatu kompresji, w którym jest przechowywany. Częstotliwość zegara i liczby rdzeni, liczby, którymi posługuje się karta specyfikacji, mają niewielki wpływ.

Spodziewaj się, że rzeczywista wartość będzie mieścić się w przybliżeniu w zakresie 20–40% szacunku. Ten sam GPU i model różnią się tak bardzo między silnikami wnioskowania, wersjami silnika i konfiguracją serwowania — żadna kalkulacja oparta tylko na specyfikacjach nie może tego przewidzieć, dlatego każda wartość tutaj jest publikowana jako zakres.

Dla modelu, który już mieści się komfortowo na obu kartach, przepustowość pamięci decyduje o zwycięzcy, a nowsza karta zazwyczaj ma jej więcej. Jednak bardziej powszechnym wąskim gardłem jest pojemność, a nie prędkość — bardziej użyteczne pytanie dla konkretnej karty brzmi zazwyczaj "jaki jest największy model, który się mieści", na które każda strona karty odpowiada bezpośrednio.

Nie — każda karta i strona modelu wybiera najlepszą jakość kompresji, która rzeczywiście pasuje, automatycznie. Kwantyzacja to technika, która zmniejsza ślad pamięci modelu przy niewielkim koszcie jakości wyjściowej, i możesz ustawić pułap jakości samodzielnie, jeśli chcesz, ale nic tego nie wymaga.

Specyfikacje kart graficznych i rejestry modeli językowych obejmujące tysiące modeli open-weight oraz ich liczbę parametrów, licencje i daty wydania. Oba są odświeżane w miarę wydawania nowego sprzętu i modeli — zobacz katalogi GPU i modeli AI, aby uzyskać pełne informacje.