Najczęściej zadawane pytania

To jak szybko model językowy generuje tekst na danym GPU — ile tokenów (mniej więcej, kawałków słów) produkuje w każdą sekundę podczas rozmowy z nim. Wyższa liczba oznacza, że odpowiedzi płyną szybciej.

Oczekuj, że rzeczywista wartość wyniesie około 20–40% szacowanej kwoty. Ta sama GPU i model różnią się tak bardzo między silnikami inferencyjnymi, wersjami silników i konfiguracjami serwującymi — żadna karta specyfikacji tego nie przewiduje, dlatego każda wartość na tej stronie jest publikowana jako zakres, a nie pojedyncza liczba.

Wydajność opublikowana przez dostawcę jest zazwyczaj mierzona przy obsłudze setek żądań jednocześnie. Nasza wartość dotyczy jednej osoby rozmawiającej z modelem, jednego żądania na raz — liczby, która rzeczywiście opisuje uruchamianie modelu lokalnie. Obie wartości nie są porównywalne.

Że wagi modelu, jego pamięć konwersacyjna i nadmiar czasu wykonywania mieszczą się w użytecznej pamięci karty przy danej kwantyzacji. Model może pasować ciasno, wygodnie lub wcale — pokazujemy, który, wraz z tym, ile pozostało miejsca na głowę.

Kwantyzacja kompresuje wagi modelu, aby zaoszczędzić VRAM, przy niewielkim koszcie jakości wyjściowej. Model, który nie mieści się w pełnej precyzji, często działa komfortowo przy niższej kwantyzacji — zawsze raportujemy najlepszą jakość, która mieści się w danej karcie.

Tysiące kart od NVIDIA, AMD, Intel i Apple Silicon, od akceleratorów w centrum danych po karty konsumenckie. Pokrycie i pewność oszacowania są najlepsze na nowoczesnym sprzęcie NVIDIA, gdzie podstawowe silniki wnioskowania są najbardziej dojrzałe.

Tak — przeglądanie GPU, modeli i każdego oszacowania na stronie jest darmowe, bez potrzeby zakupu.

Zarejestruj darmowe konto sprzedawcy i dodaj swoje oferty — pojawiają się one bezpośrednio na stronie pasującej karty. Zobacz stronę zostań-sprzedawcą, aby dowiedzieć się, jak to działa i jakie są aktualne ceny.