kalkulator GPU TPS

To jest baza danych przechowująca 818 karty graficzne, przefiltrowane do tych, które mają wystarczającą pamięć, aby pomieścić model językowy. Każda karta ma swoją stronę, a na tej stronie każdy model, który śledzimy, został oceniony w odniesieniu do niej — czy pasuje, przy jakiej kompresji i ile tokenów na sekundę prawdopodobnie wyprodukuje.

Obliczenia są wykonywane, gdy otwierasz kartę, zamiast być wyszukiwane z przechowywanej tabeli, co pozwala na to, że długość kontekstu i minimalna jakość są rzeczami, które ustawiasz, a nie rzeczami, które założyliśmy w Twoim imieniu. Zmień jedno z tych dwóch, a każda wartość jest ponownie obliczana.

Uruchomienie modelu językowego na własnym sprzęcie stało się zwyczajną rzeczą w krótkim czasie. Modele open-weight nadrobiły na tyle, że stały się naprawdę użyteczne, a narzędzia do ich uruchamiania przestały wymagać tła badawczego. Co nie nadeszło w parze z tym, to jasna odpowiedź na pierwsze pytanie, które każdy zadaje: czy będzie działać na karcie, którą już mam, i czy będzie wystarczająco szybkie, aby warto było z niego korzystać.

Specyfikacje nie odpowiadają na to. Są pisane dla obciążeń graficznych i zaczynają od cyfr, które decydują o liczbie klatek na sekundę, które są prawie całkowicie błędne. Dwie liczby, które faktycznie decydują o wyniku, to pojemność pamięci, która decyduje, czy model się mieści, oraz przepustowość pamięci, która decyduje, jak szybko generuje, gdy już się mieści.

Tokens na sekundę to liczba, która wyraża wynik w czymś, co możesz poczuć. Prędkość czytania wynosi gdzieś w okolicach dziesięciu tokenów na sekundę, więc wszystko powyżej tego przybywa szybciej, niż możesz to przeczytać, a wszystko poniżej wydaje się czekać. To jest liczba, którą ta strona oblicza dla każdej kombinacji karty i modelu, którą posiada.

Pamięć w katalogu zaczyna się od 4 GB i osiąga 288 GB. Ten zakres to różnica między kartą ograniczoną do najmniejszych użytecznych modeli a taką, która obsługuje modele, z którymi nie może się zmierzyć żaden komputer stacjonarny — pojemność jest twardą bramą, a nie stopniowym kompromisem, więc model albo mieści się, albo nie działa.

Pasmo pamięci zaczyna się od 10 GB/s i osiąga 8,190 GB/s, figura trzymana przez Radeon Instinct MI355X. Ponieważ generowanie każdego tokenu oznacza odczytanie całego modelu z pamięci jednorazowo, to rozrzut przekłada się prawie bezpośrednio na rozrzut w prędkości generacji: karta z dziesięcioma razy większą przepustowością produkuje tokeny mniej więcej dziesięć razy szybciej na tym samym modelu.

Karty w katalogu są wykonane przez AMD, ATI, Intel and NVIDIA. Producent ma większe znaczenie, niż powinien: oprogramowanie do wnioskowania otrzymało znacznie więcej uwagi na ścieżce CUDA niż na jakiejkolwiek innej, więc karta AMD lub Intel o równoważnej przepustowości zazwyczaj osiąga mniejszy udział w swoim teoretycznym maksimum. Nasze szacunki zastosowują karę za to, zamiast udawać, że sprzęt jest jedyną zmienną.

Pobór mocy zaczyna się od 6 W i osiąga 2,400 W. Górny koniec to sprzęt centrum danych, którego zasilacz komputerowy nie może zasilić, i to jest ograniczenie, które ludzie zazwyczaj odkrywają jako ostatnie — po tym, jak karta mieści się w budżecie i obudowie.

Daty wydania zaczynają się w 2009 i uruchomić do 2025, więc katalog obejmuje sprzęt, który ludzie wciąż posiadają, jak również sprzęt, który mogą kupić. Starsza karta nie jest wykluczona tylko dlatego, że jest stara — jeśli ma pamięć, nadal może uruchomić model, a strona wskaże, jak szybko.

Sprzedawcy mogą umieszczać karty na sprzedaż w odniesieniu do dowolnego wpisu w tym katalogu, więc strona karty może pokazywać zarówno to, co sprzęt będzie uruchamiać, jak i gdzie można go kupić. Ogłoszenia są przypisane do konkretnej odmiany płyty, a nie do nazwy modelu, co ma tutaj większe znaczenie niż zazwyczaj — ta sama nazwa często obejmuje kilka pojemności pamięci, a pojemność to rzecz, która decyduje, które modele uruchamiają.