Oblicz TPS modelu Radeon RX 6900 XT na lokalnych modelach AI
Każdy model w naszym katalogu oceniany według tej karty przy długości kontekstu i minimalnej jakości, którą wybierzesz. Prędkość jest szacunkowa dla pojedynczego żądania, obliczona na podstawie przepustowości pamięci tej karty i rozmiaru każdego modelu po skompresowaniu..
Obliczone dla tej karty
679 modele w naszym katalogu razem
Największy model, który obsługuje
Nemotron 3-Nano-30B-A3B
31.6B · Q3_K_M · 80.2 tok/s
Najszybszy model
Gemma 3 QAT 1B
169 tok/s · 1B
Które modele AI mogą działać na a Radeon RX 6900 XT?
Ustaw wejścia, odczytaj odpowiedź.
Więcej kontekstu oznacza więcej VRAM dla pamięci rozmowy. Szybkość dotyczy świeżej rozmowy i nie zmienia się przy tym ustawieniu..
Ukrywa modele, które można by zmieścić tylko przez skompresowanie poniżej tego punktu.
432 modele pasują
Obliczanie| Kwantyzacja | Pasuje | ||||||
|---|---|---|---|---|---|---|---|
|
169
tok/s
101–271 · niska pewność |
Gemma 3 1B | 1B | Mar 2025 | 1.8 GB | 33k tokeny | Q8_0 | Wygodny |
|
169
tok/s
101–271 · niska pewność |
Gemma 3 QAT 1B | 1B | Apr 2025 | 1.8 GB | 33k tokeny | Q8_0 | Wygodny |
|
169
tok/s
101–271 · niska pewność |
HGRN 1B (WT 103) ≈ | 1B | Nov 2023 | 1.8 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
169
tok/s
101–271 · niska pewność |
LLama 3..2 Typhoon 2 1B ≈ | 1B | Dec 2024 | 1.8 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
169
tok/s
101–271 · niska pewność |
OLMo-1B ≈ | 1B | Feb 2024 | 1.8 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
169
tok/s
101–271 · niska pewność |
Pythia-1b ≈ | 1B | Apr 2023 | 1.8 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
157
tok/s
94–251 · niska pewność |
OpenELM-1.1B ≈ | 1.1B | May 2024 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
154
tok/s
92–246 · niska pewność |
DeciCoder-1B ≈ | 1.1B | Aug 2023 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
154
tok/s
92–246 · niska pewność |
SantaCoder ≈ | 1.1B | Jan 2023 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
154
tok/s
92–246 · niska pewność |
TinyLlama-1.1B (1T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
154
tok/s
92–246 · niska pewność |
TinyLlama-1.1B (3T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
141
tok/s
85–226 · niska pewność |
EXAONE 4.0 (1.2B) ≈ | 1.2B | Jul 2025 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
141
tok/s
85–226 · niska pewność |
MinerU2.5 ≈ | 1.2B | Sep 2025 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
141
tok/s
85–226 · niska pewność |
Pleias 1.0 1.2B ≈ | 1.2B | Dec 2024 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
141
tok/s
85–226 · niska pewność |
Pleias-RAG-1B ≈ | 1.2B | Apr 2025 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
138
tok/s
83–220 · niska pewność |
Llama 3.2 1B | 1.2B | Sep 2024 | 2.2 GB | 131k tokeny | Q8_0 | Wygodny |
|
136
tok/s
81–217 · niska pewność |
MiniCPM-1.2B ≈ | 1.2B | Jun 2024 | 2.0 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
130
tok/s
78–208 · niska pewność |
DeepSeek Coder 1.3B ≈ | 1.3B | Jan 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
130
tok/s
78–208 · niska pewność |
DeepSeek-VL-1.3B ≈ | 1.3B | Mar 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
130
tok/s
78–208 · niska pewność |
DigiRL ≈ | 1.3B | Jun 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
130
tok/s
78–208 · niska pewność |
GLA Transformer 1.3B ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
130
tok/s
78–208 · niska pewność |
Janus 1.3B ≈ | 1.3B | Oct 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
130
tok/s
78–208 · niska pewność |
Kosmos-2.5 ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
130
tok/s
78–208 · niska pewność |
Otter ≈ | 1.3B | May 2023 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
|
130
tok/s
78–208 · niska pewność |
Phi-1 ≈ | 1.3B | Oct 2023 | 2.1 GB | 131k tokeny ? | Q8_0 | Wygodny |
Prędkości są szacunkami dla pojedynczego zapytania — jednej konwersacji na raz — obliczonymi na podstawie przepustowości pamięci, rozmiaru MODELu i kwantyzacji. Rzeczywista przepustowość różni się w zależności od czasu uruchamiania inference i jego wersji. Wartości publikowane przez dostawców sprzętu mierzą wiele jednoczesnych zapytań i są znacznie wyższe..
Na nagranie
Radeon RX 6900 XT Pełna specyfikacja
Wszystko w bazie danych dla tej karty, uporządkowane według tego, jak bardzo wpływa na uruchamianie modelu językowego, a nie według tego, jak lista specyfikacji by to opisała. MEMORY jest na pierwszym miejscu, ponieważ decyduje o wyniku; reszta to CONTEXT..
VRAM
Dwie specyfikacje decydują, co ta KARTA może uruchomić i jak szybko. Pojemność określa, które modele mieszczą się w GPU VRAM; przepustowość określa, ile tokenów na sekundę generują, gdy już ją uruchomią.
- Rozmiar pamięci
- 16 GB
- Pasmo pamięci
- 512 GB/s
- Typ pamięci
- GDDR6
- Szerokość magistrali pamięci
- 256 bit
- Zegar pamięci
- 2 GHz
Czip
Jaki procesor jest na płycie i jak został wyprodukowany. Mniejszy rozmiar procesu zazwyczaj oznacza większą wydajność przy tej samej mocy.
- Procesor graficzny
- Navi 21
- Architektura
- RDNA 2.0
- Generacja
- Navi II(RX 6000)
- Odlewnia
- TSMC
- Rozmiar procesu
- 7 nm
- Transistory
- 26.8 billion
- Gęstość tranzystorów
- 51,500 K/mm²
- Rozmiar die
- 520 mm²
- Pakiet
- BGA-2425
- Wydane
- 28 October 2020
Częstotliwości zegara
Jak szybko działa procesor. Warto znacznie mniej tutaj niż w testach wydajności gier: generowanie tekstu jest ograniczone przez przepustowość pamięci, więc wyższa częstotliwość ledwo wpływa na rezultat.
- Zegar bazowy
- 1.83 GHz
- Zegar zwiększający
- 2.25 GHz
Jednostki przetwarzania
Co zawiera chip. Te elementy napędzają wydajność grafiki i mają znaczenie głównie dla przetwarzania długiego promptu, a nie dla generowania odpowiedzi.
- Jednostki cieniujące
- 5,120
- Jednostki mapowania tekstur
- 320
- Jednostki wyjściowe.Render
- 128
- Rdzenie śledzenia promieni
- 80
- cache L1
- 128 KB
- pamięć podręczna L2
- 4 MB
Wydajność teoretyczna
Szczytowe współczynniki arytmetyczne opublikowane dla karty. Są to limity, które żadne rzeczywiste obciążenie nie osiąga, a generowanie tekstu osiąga jedynie małą ich część, ponieważ jest ograniczone przez VRAM, a nie arytmetykę.
- Pół precyzja (FP16)
- 46.1 TFLOPS
- Pojedyncza precyzja (FP32)
- 23 TFLOPS
- Podwójna precyzja (FP64)
- 1.4 TFLOPS
- Wskaźnik pikseli
- 288 GPixel/s
- Współczynnik tekstury
- 720 GTexel/s
Płyta
Co jest potrzebne do fizycznej instalacji i zasilania karty — praktyczne ograniczenia, które decydują, czy pasuje do maszyny, którą już posiadasz.
- Pobór mocy (TDP)
- 300 W
- Zalecany zasilacz
- 700 W
- Złącza zasilające
- 2x 8-pin
- Interfejs magistrali
- PCIe 4.0 x16
- Szerokość slotu
- Triple-slot
- Wymiary
- 267 mm × 50 mm
- Wyświetl wyniki
- 1x HDMI 2.1, 2x DisplayPort 1.4a, 1x USB Type-C
Wsparcie oprogramowania
Jakie interfejsy graficzne i obliczeniowe obsługuje karta. Możliwość obliczeniowa CUDA ma znaczenie dla wnioskowania: poniżej 7.0 nie ma rdzeni tensorowych, a nowoczesne oprogramowanie do wnioskowania wraca do wolniejszych ścieżek kodu.
- DirectX
- 12.2
- OpenGL
- 4.6
- Vulkan
- 1.4
- OpenCL
- 2.1
- Model cieniowania
- 6.8
Oferty
Gdzie kupić GPU Radeon RX 6900 XT
Żaden dostawca obecnie nie wymienia tej karty. Oferty pochodzą od dostawców, którzy publikują je tutaj bezpośrednio. — przejrzyj katalog dostawców zobaczyć, kto sprzedaje co.
Co oznaczają liczby
Pojemność i przepustowość
VRAM
16 GB
Szerokość pasma
512 GB/s
Największy model
Nemotron 3-Nano-30B-A3B
Radeon RX 6900 XT nosi 16 GB z GDDR6. To sięga komfortowo w małe i średnie modele, chociaż największe pozostają poza zasięgiem bez ich dzielenia. Nakład sterowników zostawia w przybliżeniu 14.4 GB.
Przepustowość pamięci osiąga 512 GB/s przez magistralę 256 bity. To jest liczba rządząca prędkością generacji — arytmetyka na bajt odczytany jest na tyle mała, że to magistrala, a nie rdzenie, jest na co wszystko czeka.
Przepustowość to zegar razy szerokość magistrali, a ta KARTA zegaruje swoją pamięć na 2 GHz. Obie części mają znaczenie, a żadna z nich nie jest widoczna w benchmarku gier.
Największą rzeczą, jaką ma, jest Nemotron 3-Nano-30B-A3B, 31.6B, skompresowane do Q3_K_M i generowanie wokół 80.2 tokeny na sekundę
Układ scalony i jak został zbudowany
Radeon RX 6900 XT jest zbudowany na procesorze graficznym Navi 21, używając architektury RDNA 2.0 z AMD, jako część generacji Navi II(RX 6000).
Chip jest produkowany przez TSMC, na procesie 7 nm, z kostką o wymiarach 520 mm², trzymanie 26.8 billion Transistory. Mniejszy proces zazwyczaj oznacza lepszą wydajność przy tej samej mocy, chociaż w przypadku modeli językowych ma to znacznie mniejsze znaczenie niż subsystem pamięci.
Został wydany w October 2020, szacunkowo 5.7585938223565 lata temu. Wsparcie oprogramowania do wnioskowania zazwyczaj podąża za sprzętem z opóźnieniem roku lub dwóch, więc karta tego wieku zazwyczaj ma dostępne dojrzałe, dobrze zoptymalizowane ścieżki kodu.
Wydajność obliczeniowa i dlaczego ma mniejsze znaczenie, niż się wydaje
FP16
46.1 TFLOPS
FP64
1.4 TFLOPS
Na papierze Radeon RX 6900 XT osiąga 46.1 TFLOPS przy półprecyzji, i 23 TFLOPS przy pojedynczej precyzji. To są wartości szczytowe, żaden rzeczywisty obciążenie ich nie utrzymuje, a generowanie tekstu osiąga tylko małą część z nich — dekodowanie jest ograniczone przez pamięć, a nie przez arytmetykę, co jest powodem, dla którego karta może wyglądać na niezwykle potężną tutaj i nadal produkować tokeny w zwykłym tempie.
Przepustowość podwójnej precyzji osiąga 1.4 TFLOPS. Nie ma to wpływu na uruchamianie modelu językowego — żadna sesja inferencyjna tego nie używa — ale oddziela części datacenter od konsumenckich, ponieważ te drugie celowo to ograniczają.
Zegary działają od podstawy 1.83 GHz do zwiększenia 2.25 GHz. Warto tu znacznie mniej niż na benchmarkach gier: podnoszenie szybkości zegara poprawia arytmetykę, a arytmetyka nie jest tym, na co czeka generacja.
Pamięć podręczna i jednostki przetwarzające
Radeon RX 6900 XT ma pamięć podręczną L1 128 KB, wspierany przez pamięć podręczną L2 4 MB. Cache absorbuje część ruchu pamięci, która w przeciwnym razie uderzyłaby w główną magistralę, która jest jednym miejscem na tej stronie, gdzie liczba inna niż przepustowość cicho wpływa na szybkość generacji — duża L2 pozwala większej części zbioru roboczego pozostać blisko rdzeni.
Są 5,120 Jednostki cieniujące, 320 Jednostki mapowania tekstur, i 128 Jednostki wyjściowe.Render. Te napędy obsługują obciążenia graficzne i przyczyniają się do przetwarzania zapytań, ale pozostają bezczynne przez dużą część czasu, gdy model generuje odpowiedź.
Moc, rozmiar i instalacja
Pobór mocy
300 W
Radeon RX 6900 XT jest oceniane na 300 W, i sugerowane zasilanie systemu wynosi 700 W. Uruchamianie modelu językowego zajmuje kartę w krótkich momentach zamiast ciągłego — intensywnie korzysta podczas generowania i jest w uśpieniu między zapytaniami — więc utrzymane obciążenie w ciągu roboczego dnia jest zazwyczaj znacznie poniżej nominalnej wartości.
Płyta zajmuje triple-slot, pomiarowania 267 mm długi, i potrzebuje 2x 8-pin. Warto sprawdzić z zasilaczem oraz obudową w maszynie, ponieważ największe karty potrzebują zdecydowanie więcej obu niż typowy komputer stacjonarny oferuje.
Łączy się przez PCIe 4.0 x16. Interfejs reguluje, jak szybko model jest ładowany z dysku do karty, a nie jak szybko działa po załadowaniu, więc węższe połączenie kosztuje kilka sekund na starcie i nic później.
Ekstremy
Największe modele AI, które działają na a Radeon RX 6900 XT
Największe modele open-weight, które mieszczą się na tej karcie, najnowsze najpierw. Każdy jest pokazany w najlepszej kompresji, jaką karta może pomieścić..
Najszybsze modele AI na a Radeon RX 6900 XT
Gdzie ta KARTA produkuje tokeny najszybciej. Mniejsze modele dominują tutaj, ponieważ generowanie każdego tokenu oznacza odczytanie całego modelu z pamięci raz..
Krok po kroku
Jak obliczyć liczbę tokenów na sekundę dla a Radeon RX 6900 XT
Nie musisz niczego obliczać ręcznie — kalkulator gputps.com na tej stronie już obliczył to dla każdego modelu, który ta karta może pomieścić. Odczytanie odpowiedzi zajmuje sześć kroków..
-
01
Model: model AI Run: uruchomienie modelu AI Does not fit: nie mieści się w GPU VRAM Tight: ledwo uruchamialny Comfortable: działa płynnie Open weight: model AI typu open-source On file: w naszej bazie danych Releases: nowo wydane GPU Memory/memory-bound: GPU VRAM/bandwidth Card: karta GPU Context length: okno kontekstu AI
Tabela zawiera 432 modele, które obsługuje karta. Pole wyszukiwania przyjmuje nazwę lub rozmiar, taki jak 27b, który odpowiada liczbie parametrów.
-
02
Zdecyduj, jak długo trwają twoje rozmowy
Dłuższe rozmowy kosztują pamięć oprócz wag. 16 GB więc ustawienia warto dobrze ustawić.
-
03
Ustaw minimalną jakość, jeśli jest potrzebna.
Domyślnie tabela wybiera najmniej skompresowaną kopię, która się zmieści. Ustawienie minimum usuwa modele, które kwalifikują się tylko dzięki dużej kompresji.
-
04
Spójrz na zakres, nie tylko na liczbę
Liczby są obliczane, a nie mierzone. Najszybszy wynik na tej karcie to 169 tok/s na Gemma 3 QAT 1B. Ta sama karta i model różnią się od trzydziestu do pięćdziesięciu procent między czasami wykonywania inference.
-
05
Sprawdź swój zapas przed podjęciem decyzji
Kolumna dopasowania oddziela modele, które tylko mieszczą się, od tych, które mają trochę miejsca zapasowego — warto to sprawdzić przed zdecydowaniem się na jeden, w konfrontacji z dostępnym 16 GB.
-
06
Sprawdź w innych urządzeniach.
Śledzenie modelu na jego stronie pokazuje cały sprzęt, który może go uruchomić, więc możesz zobaczyć, jak wypada w porównaniu do Radeon RX 6900 XT.
Odpowiedzi
Radeon RX 6900 XT — częste pytania
Radeon RX 6900 XT— jakie są jego TFLOPS?
Jest oceniane na 46.1 TFLOPS przy połowicznej precyzji i 23 TFLOPS przy pojedynczej precyzji. Są to najwyższe sufity arytmetyczne, a nie osiągalne stawki, a generacja tekstu osiąga tylko małą część z nich, ponieważ jest ograniczona przez przepustowość pamięci.
Radeon RX 6900 XT— czy obsługuje CUDA?
Nie. CUDA jest tylko dla NVIDIA, a to jest karta od AMD. Uruchamia modele językowe przez ROCm, Vulkan lub Metal w zależności od oprogramowania, które są mniej dojrzałe niż ścieżka CUDA — nasze oszacowania uwzględniają karę za to.
Radeon RX 6900 XT— Jakiego interfejsu autobusowego używa?
Używa PCIe 4.0 x16. To reguluje, jak szybko model jest ładowany na kartę, a nie jak szybko działa po załadowaniu, więc kosztuje kilka sekund podczas uruchamiania i nic podczas generacji.
Radeon RX 6900 XT— czy jest dobry do uruchamiania lokalnych modeli AI?
Jego pamięć obejmuje małe i średnie modele, chociaż największe są poza zasięgiem, a jego przepustowość zapewnia użyteczne, chociaż niespektakularne, prędkości generacji. W sumie działa 432 modele, które śledzimy. Czy to wystarczy, zależy całkowicie od tego, który model chcesz — tabela powyżej odpowiada na to bezpośrednio.
Radeon RX 6900 XT— czy może uruchomić model, który nie mieści się w jego VRAM?
Można go podzielić, a nadmiar przechowywany jest w pamięci systemowej poza kartą. 16 GB jest możliwe i zwykle jest to fałszywa oszczędność: część pamięci systemu jest wystarczająco wolna, aby zdominować wynik.
Czy dwa Radeon RX 6900 XT karty będą dwa razy szybsze?
Pojemność dodaje, wydajność nie. Dwie z nich dają ci 32 GB pracować z zamiast dwa razy więcej tokenów na sekundę — każda liczba tutaj dotyczy pojedynczej KARTY.
Radeon RX 6900 XT— które modele AI może uruchomić?
432 z 679 modele językowe open-weight, które śledzimy, mieszczą się na tej karcie i mogą być uruchamiane lokalnie. Tabela na tej stronie zawiera każdy z nich, z wymaganą pamięcią, poziomem kwantyzacji oraz szacowaną prędkością generacji.
Radeon RX 6900 XT— jaki jest największy model AI, który może uruchomić?
Największy model w naszym katalogu, który pasuje, to Nemotron 3-Nano-30B-A3B w 31.6B parametry, skompresowane do Q3_K_M. Generuje mniej więcej 80.2 tokenów na sekundę i potrzebuje około 14.4 GB pamięci karty.
Radeon RX 6900 XT— Ile tokenów na sekundę produkuje?
To zależy od modelu. Najszybszy model, który śledzimy tutaj, to Gemma 3 QAT 1B około 169 tokenów na sekundę, podczas gdy większe modele działają proporcjonalnie wolniej, ponieważ każdy token wymaga odczytania całego modelu z pamięci za każdym razem. Prędkości są szacunkami dla jednej rozmowy na raz.
Radeon RX 6900 XT— czy może działać 7B modele?
Tak. Na przykład działa Multi-Token Prediction 7B w Q8_0, używając około 7.9 GB pamięci i generowanie około 25.2 tokeny na sekundę
Radeon RX 6900 XT— czy może działać 13B modele?
Tak. Na przykład działa DeepSeekMoE-16B w Q6_K, używając około 13.7 GB pamięci i generowanie około 85.3 tokeny na sekundę
Radeon RX 6900 XT— czy może działać 30B modele?
Tak. Na przykład działa ERNIE-4.5-VL-28B-A3B w Q3_K_M, używając około 12.9 GB pamięci i generowanie około 90.6 tokeny na sekundę
Radeon RX 6900 XT— Ile ma pamięci?
Ta karta ma 16 GB z GDDR6. Około jedna dziesiąta jest zarezerwowana przez czas wykonywania wnioskowania i sterownik, pozostawiając mniej więcej 14.4 GB dostępny dla modelu i jego rozmowy
Radeon RX 6900 XT— jaka jest jej przepustowość VRAM?
Przepustowość pamięci osiąga 512 GB/s przez magistralę 256 bity. To jest jedyny najlepszy wskaźnik tego, jak szybko generuje tekst, ponieważ produkcja każdego tokena oznacza odczytanie całego modelu z pamięci jednocześnie.
Radeon RX 6900 XT— Jakiego typu pamięci używa?
Używa GDDR6 prędkość zegara na 2 GHz. Typy HBM znajdują się na akceleratorach w centrum danych i mają znacznie większą przepustowość niż GDDR używane na kartach stacjonarnych, dlatego generują tokeny znacznie szybciej przy tej samej pojemności.
Radeon RX 6900 XT— kto to robi?
To jest produkt AMD, z chipem wyprodukowanym przez TSMC, na procesie 7 nm.
Radeon RX 6900 XT— kiedy to zostało wydane?
Został wydany w October 2020.
Radeon RX 6900 XT— ile mocy zużywa?
Moc nominalna karty graficznej wynosi 300 W, i sugerowane zasilanie systemu wynosi 700 W. Generowanie tekstu bardzo obciąża w krótkich szczytach i idle'uje między żądaniami, więc średnie zużycie podczas sesji roboczej jest zazwyczaj znacznie poniżej określonej wartości.
Radeon RX 6900 XT— ile pamięci podręcznej ma?
Pamięć podręczna L1 jest 128 KB, i pamięć podręczna L2 jest 4 MB. Cache absorbuje część ruchu pamięci, który w przeciwnym razie dotarłby do głównej magistrali, więc większy L2 daje skromny wzrost prędkości generacji ponad to, co przewiduje sama szerokość pasma.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od sprzętu. Jeśli już wiesz, jaki model chcesz i potrzebujesz wiedzieć, co jest potrzebne do jego uruchomienia, Zacznij od modelu zamiast.