Oblicz TPS modelu P102-100 na lokalnych modelach AI
Każdy model w naszym katalogu oceniany według tej karty przy długości kontekstu i minimalnej jakości, którą wybierzesz. Prędkość jest szacunkowa dla pojedynczego żądania, obliczona na podstawie przepustowości pamięci tej karty i rozmiaru każdego modelu po skompresowaniu..
Obliczone dla tej karty
679 modele w naszym katalogu razem
Największy model, który obsługuje
Sailor-7B-Chat
7.7B · Q3_K_M · 55.4 tok/s
Najszybszy model
Gemma 3 QAT 1B
159 tok/s · 1B
Które modele AI mogą działać na a P102-100?
Ustaw wejścia, odczytaj odpowiedź.
Więcej kontekstu oznacza więcej VRAM dla pamięci rozmowy. Szybkość dotyczy świeżej rozmowy i nie zmienia się przy tym ustawieniu..
Ukrywa modele, które można by zmieścić tylko przez skompresowanie poniżej tego punktu.
203 modele pasują
Obliczanie| Kwantyzacja | Pasuje | ||||||
|---|---|---|---|---|---|---|---|
|
159
tok/s
55–317 · niska pewność |
Gemma 3 1B | 1B | Mar 2025 | 1.8 GB | 33k tokeny | Q8_0 | Wygodny |
|
159
tok/s
55–317 · niska pewność |
Gemma 3 QAT 1B | 1B | Apr 2025 | 1.8 GB | 33k tokeny | Q8_0 | Wygodny |
|
159
tok/s
55–317 · niska pewność |
HGRN 1B (WT 103) ≈ | 1B | Nov 2023 | 1.8 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
159
tok/s
55–317 · niska pewność |
LLama 3..2 Typhoon 2 1B ≈ | 1B | Dec 2024 | 1.8 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
159
tok/s
55–317 · niska pewność |
OLMo-1B ≈ | 1B | Feb 2024 | 1.8 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
159
tok/s
55–317 · niska pewność |
Pythia-1b ≈ | 1B | Apr 2023 | 1.8 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
147
tok/s
51–294 · niska pewność |
OpenELM-1.1B ≈ | 1.1B | May 2024 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
144
tok/s
50–288 · niska pewność |
DeciCoder-1B ≈ | 1.1B | Aug 2023 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
144
tok/s
50–288 · niska pewność |
SantaCoder ≈ | 1.1B | Jan 2023 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
144
tok/s
50–288 · niska pewność |
TinyLlama-1.1B (1T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
144
tok/s
50–288 · niska pewność |
TinyLlama-1.1B (3T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
132
tok/s
46–264 · niska pewność |
EXAONE 4.0 (1.2B) ≈ | 1.2B | Jul 2025 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
132
tok/s
46–264 · niska pewność |
MinerU2.5 ≈ | 1.2B | Sep 2025 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
132
tok/s
46–264 · niska pewność |
Pleias 1.0 1.2B ≈ | 1.2B | Dec 2024 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
132
tok/s
46–264 · niska pewność |
Pleias-RAG-1B ≈ | 1.2B | Apr 2025 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
129
tok/s
45–258 · niska pewność |
Llama 3.2 1B | 1.2B | Sep 2024 | 2.2 GB | 84k tokeny | Q8_0 | Wygodny |
|
127
tok/s
44–254 · niska pewność |
MiniCPM-1.2B ≈ | 1.2B | Jun 2024 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
122
tok/s
43–244 · niska pewność |
DeepSeek Coder 1.3B ≈ | 1.3B | Jan 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
122
tok/s
43–244 · niska pewność |
DeepSeek-VL-1.3B ≈ | 1.3B | Mar 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
122
tok/s
43–244 · niska pewność |
DigiRL ≈ | 1.3B | Jun 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
122
tok/s
43–244 · niska pewność |
GLA Transformer 1.3B ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
122
tok/s
43–244 · niska pewność |
Janus 1.3B ≈ | 1.3B | Oct 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
122
tok/s
43–244 · niska pewność |
Kosmos-2.5 ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
122
tok/s
43–244 · niska pewność |
Otter ≈ | 1.3B | May 2023 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
122
tok/s
43–244 · niska pewność |
Phi-1 ≈ | 1.3B | Oct 2023 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
Prędkości są szacunkami dla pojedynczego zapytania — jednej konwersacji na raz — obliczonymi na podstawie przepustowości pamięci, rozmiaru MODELu i kwantyzacji. Rzeczywista przepustowość różni się w zależności od czasu uruchamiania inference i jego wersji. Wartości publikowane przez dostawców sprzętu mierzą wiele jednoczesnych zapytań i są znacznie wyższe..
Na nagranie
P102-100 Pełna specyfikacja
Wszystko w bazie danych dla tej karty, uporządkowane według tego, jak bardzo wpływa na uruchamianie modelu językowego, a nie według tego, jak lista specyfikacji by to opisała. MEMORY jest na pierwszym miejscu, ponieważ decyduje o wyniku; reszta to CONTEXT..
VRAM
Dwie specyfikacje decydują, co ta KARTA może uruchomić i jak szybko. Pojemność określa, które modele mieszczą się w GPU VRAM; przepustowość określa, ile tokenów na sekundę generują, gdy już ją uruchomią.
- Rozmiar pamięci
- 5 GB
- Pasmo pamięci
- 440 GB/s
- Typ pamięci
- GDDR5X
- Szerokość magistrali pamięci
- 320 bit
- Zegar pamięci
- 1.38 GHz
Czip
Jaki procesor jest na płycie i jak został wyprodukowany. Mniejszy rozmiar procesu zazwyczaj oznacza większą wydajność przy tej samej mocy.
- Procesor graficzny
- GP102
- Architektura
- Pascal
- Generacja
- Mining GPUs
- Odlewnia
- TSMC
- Rozmiar procesu
- 16 nm
- Transistory
- 11.8 billion
- Gęstość tranzystorów
- 25,100 K/mm²
- Rozmiar die
- 471 mm²
- Pakiet
- BGA-2397
- Wydane
- 12 February 2018
Częstotliwości zegara
Jak szybko działa procesor. Warto znacznie mniej tutaj niż w testach wydajności gier: generowanie tekstu jest ograniczone przez przepustowość pamięci, więc wyższa częstotliwość ledwo wpływa na rezultat.
- Zegar bazowy
- 1.58 GHz
- Zegar zwiększający
- 1.68 GHz
Jednostki przetwarzania
Co zawiera chip. Te elementy napędzają wydajność grafiki i mają znaczenie głównie dla przetwarzania długiego promptu, a nie dla generowania odpowiedzi.
- Jednostki cieniujące
- 3,200
- Jednostki mapowania tekstur
- 200
- Jednostki wyjściowe.Render
- 80
- Procesory strumieniowe
- 25
- cache L1
- 48 KB
- pamięć podręczna L2
- 2.5 MB
Wydajność teoretyczna
Szczytowe współczynniki arytmetyczne opublikowane dla karty. Są to limity, które żadne rzeczywiste obciążenie nie osiąga, a generowanie tekstu osiąga jedynie małą ich część, ponieważ jest ograniczone przez VRAM, a nie arytmetykę.
- Pół precyzja (FP16)
- 168.3 GFLOPS
- Pojedyncza precyzja (FP32)
- 10.8 TFLOPS
- Podwójna precyzja (FP64)
- 336.6 GFLOPS
- Wskaźnik pikseli
- 135 GPixel/s
- Współczynnik tekstury
- 337 GTexel/s
Płyta
Co jest potrzebne do fizycznej instalacji i zasilania karty — praktyczne ograniczenia, które decydują, czy pasuje do maszyny, którą już posiadasz.
- Pobór mocy (TDP)
- 250 W
- Zalecany zasilacz
- 600 W
- Złącza zasilające
- 2x 8-pin
- Interfejs magistrali
- PCIe 1.0 x4
- Szerokość slotu
- Dual-slot
- Wymiary
- 267 mm
Wsparcie oprogramowania
Jakie interfejsy graficzne i obliczeniowe obsługuje karta. Możliwość obliczeniowa CUDA ma znaczenie dla wnioskowania: poniżej 7.0 nie ma rdzeni tensorowych, a nowoczesne oprogramowanie do wnioskowania wraca do wolniejszych ścieżek kodu.
- zdolność obliczeniowa CUDA
- 6.1
- DirectX
- 12.1
- OpenGL
- 4.6
- Vulkan
- 1.4
- OpenCL
- 3.0
- Model cieniowania
- 6.8
Oferty
Gdzie kupić GPU P102-100
Żaden dostawca obecnie nie wymienia tej karty. Oferty pochodzą od dostawców, którzy publikują je tutaj bezpośrednio. — przejrzyj katalog dostawców zobaczyć, kto sprzedaje co.
Co oznaczają liczby
Pamięć: specyfikacja, która decyduje o wszystkim
VRAM
5 GB
Szerokość pasma
440 GB/s
Największy model
Sailor-7B-Chat
P102-100 niesie tylko 5 GB z GDDR5X. To ogranicza do mniejszego końca katalogu, a model musi całkowicie zmieścić się w środku, zanim wygeneruje cokolwiek. Rzeczywisty czas działania wynosi około 4.5 GB.
Przepustowość pamięci osiąga 440 GB/s przez magistralę 320 bity. To jest liczba rządząca prędkością generacji — arytmetyka na bajt odczytany jest na tyle mała, że to magistrala, a nie rdzenie, jest na co wszystko czeka.
Liczba to szerokość magistrali pomnożona przez zegar pamięci 1.38 GHz. Obie części mają znaczenie, a żadna z nich nie jest widoczna w benchmarku gier.
W całości największy model, który się mieści, to Sailor-7B-Chat, 7.7B, skompresowane do Q3_K_M i generowanie wokół 55.4 tokeny na sekundę
Układ scalony i jak został zbudowany
P102-100 jest zbudowany na procesorze graficznym GP102, używając architektury Pascal z NVIDIA, jako część generacji Mining GPUs.
Chip jest produkowany przez TSMC, na procesie 16 nm, z kostką o wymiarach 471 mm², trzymanie 11.8 billion Transistory. Mniejszy proces zazwyczaj oznacza lepszą wydajność przy tej samej mocy, chociaż w przypadku modeli językowych ma to znacznie mniejsze znaczenie niż subsystem pamięci.
Został wydany w February 2018, szacunkowo 8.4655932785459 lata temu. Wsparcie oprogramowania do wnioskowania zazwyczaj podąża za sprzętem z opóźnieniem roku lub dwóch, więc karta tego wieku zazwyczaj ma dostępne dojrzałe, dobrze zoptymalizowane ścieżki kodu.
Wydajność obliczeniowa i dlaczego ma mniejsze znaczenie, niż się wydaje
FP16
168.3 GFLOPS
FP64
336.6 GFLOPS
Na papierze P102-100 osiąga 168.3 GFLOPS przy półprecyzji, i 10.8 TFLOPS przy pojedynczej precyzji. To są wartości szczytowe, żaden rzeczywisty obciążenie ich nie utrzymuje, a generowanie tekstu osiąga tylko małą część z nich — dekodowanie jest ograniczone przez pamięć, a nie przez arytmetykę, co jest powodem, dla którego karta może wyglądać na niezwykle potężną tutaj i nadal produkować tokeny w zwykłym tempie.
Przepustowość podwójnej precyzji osiąga 336.6 GFLOPS. Nie ma to wpływu na uruchamianie modelu językowego — żadna sesja inferencyjna tego nie używa — ale oddziela części datacenter od konsumenckich, ponieważ te drugie celowo to ograniczają.
Zegary działają od podstawy 1.58 GHz do zwiększenia 1.68 GHz. Warto tu znacznie mniej niż na benchmarkach gier: podnoszenie szybkości zegara poprawia arytmetykę, a arytmetyka nie jest tym, na co czeka generacja.
Pamięć podręczna i jednostki przetwarzające
P102-100 ma pamięć podręczną L1 48 KB, wspierany przez pamięć podręczną L2 2.5 MB. Cache absorbuje część ruchu pamięci, która w przeciwnym razie uderzyłaby w główną magistralę, która jest jednym miejscem na tej stronie, gdzie liczba inna niż przepustowość cicho wpływa na szybkość generacji — duża L2 pozwala większej części zbioru roboczego pozostać blisko rdzeni.
Są 3,200 Jednostki cieniujące, 200 Jednostki mapowania tekstur, i 80 Jednostki wyjściowe.Render. Te napędy obsługują obciążenia graficzne i przyczyniają się do przetwarzania zapytań, ale pozostają bezczynne przez dużą część czasu, gdy model generuje odpowiedź.
Moc, rozmiar i instalacja
Pobór mocy
250 W
P102-100 jest oceniane na 250 W, i sugerowane zasilanie systemu wynosi 600 W. Uruchamianie modelu językowego zajmuje kartę w krótkich momentach zamiast ciągłego — intensywnie korzysta podczas generowania i jest w uśpieniu między zapytaniami — więc utrzymane obciążenie w ciągu roboczego dnia jest zazwyczaj znacznie poniżej nominalnej wartości.
Płyta zajmuje dual-slot, pomiarowania 267 mm długi, i potrzebuje 2x 8-pin. Warto sprawdzić z zasilaczem oraz obudową w maszynie, ponieważ największe karty potrzebują zdecydowanie więcej obu niż typowy komputer stacjonarny oferuje.
Łączy się przez PCIe 1.0 x4. Interfejs reguluje, jak szybko model jest ładowany z dysku do karty, a nie jak szybko działa po załadowaniu, więc węższe połączenie kosztuje kilka sekund na starcie i nic później.
Ekstremy
Największe modele AI, które działają na a P102-100
Największe modele open-weight, które mieszczą się na tej karcie, najnowsze najpierw. Każdy jest pokazany w najlepszej kompresji, jaką karta może pomieścić..
Najszybsze modele AI na a P102-100
Gdzie ta KARTA produkuje tokeny najszybciej. Mniejsze modele dominują tutaj, ponieważ generowanie każdego tokenu oznacza odczytanie całego modelu z pamięci raz..
Krok po kroku
Jak obliczyć liczbę tokenów na sekundę dla a P102-100
Nie musisz niczego obliczać ręcznie — kalkulator gputps.com na tej stronie już obliczył to dla każdego modelu, który ta karta może pomieścić. Odczytanie odpowiedzi zajmuje sześć kroków..
-
01
Znajdź model w tabeli
Tabela zawiera 203 modele, które ta karta może uruchomić. Szukaj według nazwy lub rozmiaru — wpisanie 27b pasuje do liczby parametrów, nawet gdy nazwa tego nie stwierdza.
-
02
Zdecyduj, jak długo trwają twoje rozmowy
Dłuższe rozmowy kosztują pamięć oprócz wag. 5 GB często jest to to, co pcha duży model na krawędź.
-
03
Wybierz, jak daleko chcesz skompresować
Domyślnie tabela wybiera najmniej skompresowaną kopię, która się zmieści. Ustawienie minimum usuwa modele, które kwalifikują się tylko dzięki dużej kompresji.
-
04
Przeczytaj prędkość i zasięg
Liczby są obliczane, a nie mierzone. Najszybszy wynik na tej karcie to 159 tok/s na Gemma 3 QAT 1B. Ta sama karta i model różnią się od trzydziestu do pięćdziesięciu procent między czasami wykonywania inference.
-
05
Przeczytaj werdykt dopasowania ostatni
Tight dopasowanie działa, ale nie zostawia miejsca na zwiększenie kontekstu później; comfortable ma zapas. Kolumna pamięci pokazuje, czego każdy model potrzebuje w porównaniu do dostępnej 5 GB.
-
06
Sprawdź ten sam model z drugiej strony
Każda nazwa modelu w tabeli prowadzi do swojej własnej strony, która wykonuje to samo obliczenie na każdej karcie, którą posiadamy. Tam właśnie zobaczysz, czy odpowiedni zakup jest P102-100.
Odpowiedzi
P102-100 — częste pytania
P102-100— czy obsługuje CUDA?
Tak. Raportuje zdolność obliczeniową CUDA. 6.1, który poprzedza tensor cores. Funkcjonalność 7.0 i wyższa ma rdzenie tensorowe, z których korzysta nowoczesne oprogramowanie inferencyjne; poniżej tego korzysta z wolniejszych ścieżek kodu dla modelów kwantyzowanych.
P102-100— Jakiego interfejsu autobusowego używa?
Używa PCIe 1.0 x4. To reguluje, jak szybko model jest ładowany na kartę, a nie jak szybko działa po załadowaniu, więc kosztuje kilka sekund podczas uruchamiania i nic podczas generacji.
P102-100— czy jest dobry do uruchamiania lokalnych modeli AI?
Jego pamięć ogranicza go do mniejszych modeli, a jego przepustowość daje użyteczne, chociaż niespektakularne, prędkości generacji. W sumie działa 203 modele, które śledzimy. Czy to wystarczy, zależy całkowicie od tego, który model chcesz — tabela powyżej odpowiada na to bezpośrednio.
P102-100— czy może uruchomić model, który nie mieści się w jego VRAM?
Tylko częściowo. Warstwy poza kartą 5 GB zaciąga cały system w dół, a żadne z danych na tej stronie tego nie uwzględnia.
Czy dwa P102-100 karty będą dwa razy szybsze?
Liberalizowanie ich kupuje przestrzeń zamiast tempa: 10 GB który pozwala na utrzymanie modeli, których żaden z nich nie mógłby utrzymać samodzielnie, ale generacja nie dzieli się w ten sposób. Te dane opisują jedną KARTĘ.
P102-100— które modele AI może uruchomić?
203 z 679 modele językowe open-weight, które śledzimy, mieszczą się na tej karcie i mogą być uruchamiane lokalnie. Tabela na tej stronie zawiera każdy z nich, z wymaganą pamięcią, poziomem kwantyzacji oraz szacowaną prędkością generacji.
P102-100— jaki jest największy model AI, który może uruchomić?
Największy model w naszym katalogu, który pasuje, to Sailor-7B-Chat w 7.7B parametry, skompresowane do Q3_K_M. Generuje mniej więcej 55.4 tokenów na sekundę i potrzebuje około 4.5 GB pamięci karty.
P102-100— Ile tokenów na sekundę produkuje?
To zależy od modelu. Najszybszy model, który śledzimy tutaj, to Gemma 3 QAT 1B około 159 tokenów na sekundę, podczas gdy większe modele działają proporcjonalnie wolniej, ponieważ każdy token wymaga odczytania całego modelu z pamięci za każdym razem. Prędkości są szacunkami dla jednej rozmowy na raz.
P102-100— czy może działać 7B modele?
Tak. Na przykład działa Olmo 3 7B Think w Q3_K_M, używając około 4.1 GB pamięci i generowanie około 61.1 tokeny na sekundę
P102-100— Ile ma pamięci?
Ta karta ma 5 GB z GDDR5X. Około jedna dziesiąta jest zarezerwowana przez czas wykonywania wnioskowania i sterownik, pozostawiając mniej więcej 4.5 GB dostępny dla modelu i jego rozmowy
P102-100— jaka jest jej przepustowość VRAM?
Przepustowość pamięci osiąga 440 GB/s przez magistralę 320 bity. To jest jedyny najlepszy wskaźnik tego, jak szybko generuje tekst, ponieważ produkcja każdego tokena oznacza odczytanie całego modelu z pamięci jednocześnie.
P102-100— Jakiego typu pamięci używa?
Używa GDDR5X prędkość zegara na 1.38 GHz. Typy HBM znajdują się na akceleratorach w centrum danych i mają znacznie większą przepustowość niż GDDR używane na kartach stacjonarnych, dlatego generują tokeny znacznie szybciej przy tej samej pojemności.
P102-100— kto to robi?
To jest produkt NVIDIA, z chipem wyprodukowanym przez TSMC, na procesie 16 nm.
P102-100— kiedy to zostało wydane?
Został wydany w February 2018.
P102-100— ile mocy zużywa?
Moc nominalna karty graficznej wynosi 250 W, i sugerowane zasilanie systemu wynosi 600 W. Generowanie tekstu bardzo obciąża w krótkich szczytach i idle'uje między żądaniami, więc średnie zużycie podczas sesji roboczej jest zazwyczaj znacznie poniżej określonej wartości.
P102-100— ile pamięci podręcznej ma?
Pamięć podręczna L1 jest 48 KB, i pamięć podręczna L2 jest 2.5 MB. Cache absorbuje część ruchu pamięci, który w przeciwnym razie dotarłby do głównej magistrali, więc większy L2 daje skromny wzrost prędkości generacji ponad to, co przewiduje sama szerokość pasma.
P102-100— jakie są jego TFLOPS?
Jest oceniane na 168.3 GFLOPS przy połowicznej precyzji i 10.8 TFLOPS przy pojedynczej precyzji. Są to najwyższe sufity arytmetyczne, a nie osiągalne stawki, a generacja tekstu osiąga tylko małą część z nich, ponieważ jest ograniczona przez przepustowość pamięci.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od sprzętu. Jeśli już wiesz, jaki model chcesz i potrzebujesz wiedzieć, co jest potrzebne do jego uruchomienia, Zacznij od modelu zamiast.