Jais-70B kalkulator TPS
Każda karta poniżej jest oceniana w stosunku do tego modelu przy wybranej długości kontekstu i minimalnej jakości. Prędkość jest oszacowaniem dla pojedynczego żądania, obliczonym na podstawie przepustowości pamięci karty i rozmiaru modelu po skompresowaniu..
Obliczone dla tego modelu
818 Karty, które posiadamy specyfikacje dla
Najmniejsza karta, która pasuje
A100 PCIe 40 GB
40 GB · Q3_K_M · 25.5 tok/s
Najszybsza karta
B200
48.4 tok/s · 180 GB
Które GPU mogą uruchomić Jais-70B?
Ustaw wejścia, odczytaj odpowiedź.
Dłuższa rozmowa wymaga więcej MEMORY, co może spowodować, że ten model nie zmieści się na mniejszych CARD..
Ukrywa karty, które zmieściłyby się w modelu tylko przez skompresowanie go poniżej tego punktu..
61 karty pasują
Obliczanie| potrzeby | Kwantyzacja | Pasuje | |||||
|---|---|---|---|---|---|---|---|
|
48.4
tok/s
29–77 · niska pewność |
B200 NVIDIA | 180 GB | 8,000 GB/s | Jan 2024 | 75.6 GB | Q8_0 | Wygodny |
|
48.4
tok/s
29–77 · niska pewność |
B300 NVIDIA | 288 GB | 8,000 GB/s | Sep 2025 | 75.6 GB | Q8_0 | Wygodny |
|
38.7
tok/s
23–62 · niska pewność |
Radeon Instinct MI350X AMD | 288 GB | 8,190 GB/s | Jan 2025 | 75.6 GB | Q8_0 | Wygodny |
|
38.7
tok/s
23–62 · niska pewność |
Radeon Instinct MI355X AMD | 288 GB | 8,190 GB/s | Jan 2025 | 75.6 GB | Q8_0 | Wygodny |
|
30.9
tok/s
19–49 · niska pewność |
Radeon Instinct MI300 AMD | 128 GB | 6,550 GB/s | Jan 2023 | 75.6 GB | Q8_0 | Wygodny |
|
29.6
tok/s
18–47 · niska pewność |
H200 NVL NVIDIA | 141 GB | 4,890 GB/s | Nov 2024 | 75.6 GB | Q8_0 | Wygodny |
|
29.6
tok/s
18–47 · niska pewność |
H200 SXM 141 GB NVIDIA | 141 GB | 4,890 GB/s | Nov 2024 | 75.6 GB | Q8_0 | Wygodny |
|
29.5
tok/s
18–47 · niska pewność |
H100 SXM5 80 GB NVIDIA | 80 GB | 3,360 GB/s | Oct 2022 | 59.3 GB | Q6_K | Wygodny |
|
29.5
tok/s
18–47 · niska pewność |
H800 SXM5 NVIDIA | 80 GB | 3,360 GB/s | Mar 2023 | 59.3 GB | Q6_K | Wygodny |
|
28.3
tok/s
17–45 · niska pewność |
Radeon Instinct MI325X AMD | 256 GB | 6,000 GB/s | Oct 2024 | 75.6 GB | Q8_0 | Wygodny |
|
26.1
tok/s
16–42 · niska pewność |
GRID A100B NVIDIA | 48 GB | 1,870 GB/s | May 2020 | 43.0 GB | Q4_K_M | Wąski |
|
25.5
tok/s
15–41 · niska pewność |
A100 PCIe 40 GB NVIDIA | 40 GB | 1,560 GB/s | Jun 2020 | 34.9 GB | Q3_K_M | Wąski |
|
25.5
tok/s
15–41 · niska pewność |
A100 SXM4 40 GB NVIDIA | 40 GB | 1,560 GB/s | May 2020 | 34.9 GB | Q3_K_M | Wąski |
|
25.5
tok/s
15–41 · niska pewność |
A800 PCIe 40 GB NVIDIA | 40 GB | 1,560 GB/s | Nov 2022 | 34.9 GB | Q3_K_M | Wąski |
|
25.1
tok/s
15–40 · niska pewność |
Radeon Instinct MI300A AMD | 128 GB | 5,325 GB/s | Dec 2023 | 75.6 GB | Q8_0 | Wygodny |
|
25.1
tok/s
15–40 · niska pewność |
Radeon Instinct MI300X AMD | 192 GB | 5,325 GB/s | Dec 2023 | 75.6 GB | Q8_0 | Wygodny |
|
25.1
tok/s
15–40 · niska pewność |
Radeon Instinct MI308X AMD | 192 GB | 5,325 GB/s | Dec 2023 | 75.6 GB | Q8_0 | Wygodny |
|
23.8
tok/s
14–38 · niska pewność |
H100 NVL 94 GB NVIDIA | 94 GB | 3,940 GB/s | Mar 2023 | 75.6 GB | Q8_0 | Wąski |
|
21.8
tok/s
13–35 · niska pewność |
H100 SXM5 64 GB NVIDIA | 64 GB | 2,020 GB/s | Mar 2023 | 51.2 GB | Q5_K_M | Wąski |
|
20.3
tok/s
12–33 · niska pewność |
H100 PCIe 96 GB NVIDIA | 96 GB | 3,360 GB/s | Mar 2023 | 75.6 GB | Q8_0 | Wąski |
|
20.3
tok/s
12–33 · niska pewność |
H100 SXM5 94 GB NVIDIA | 94 GB | 3,360 GB/s | Mar 2023 | 75.6 GB | Q8_0 | Wąski |
|
20.3
tok/s
12–33 · niska pewność |
H100 SXM5 96 GB NVIDIA | 96 GB | 3,360 GB/s | Mar 2023 | 75.6 GB | Q8_0 | Wąski |
|
18.7
tok/s
11–30 · niska pewność |
RTX PRO 5000 Blackwell NVIDIA | 48 GB | 1,340 GB/s | Mar 2025 | 43.0 GB | Q4_K_M | Wąski |
|
17.9
tok/s
11–29 · niska pewność |
A100 SXM4 80 GB NVIDIA | 80 GB | 2,040 GB/s | Nov 2020 | 59.3 GB | Q6_K | Wygodny |
|
17.9
tok/s
11–29 · niska pewność |
A100X NVIDIA | 80 GB | 2,040 GB/s | Jun 2021 | 59.3 GB | Q6_K | Wygodny |
Prędkości są szacunkami dla pojedynczego zapytania — jednej konwersacji na raz — obliczonymi na podstawie przepustowości pamięci, rozmiaru MODELu i kwantyzacji. Rzeczywista przepustowość różni się w zależności od czasu uruchamiania inference i jego wersji. Wartości publikowane przez dostawców sprzętu mierzą wiele jednoczesnych zapytań i są znacznie wyższe..
Na nagranie
Pełna specyfikacja
Wszystko na rekord dla tego modelu. Większość z tego opisuje, jak był trenowany, a nie jak działa — użyteczny kontekst do oceny, ile pracy włożono w to, i jak wypada w porównaniu z modelami budowanymi w innym skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- G42,Inception G42
- Typ organizacji
- Industry,Industry
- Kraj
- United Arab Emirates
- Opublikowany
- 5 August 2024
Co to robi
Obszary problemowe, dla których stworzono model. Model może mieć kilka z każdego.
- Domena
- Language
- Zadanie
- Language modeling/generation, Question answering
- Model bazowy
- Llama 2-70B
Rozmiar
Jak duży jest model i na ile danych był trenowany. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- parametry
- 70B
- Dane treningowe
- 370,000,000,000 tokens
- Rozmiar wsadu
- 3,932,160
70B
"JAIS 70B was developed using continuous training, a process of fine-tuning a pre-trained model, on 370 billion tokens of which 330 billion were Arabic tokens, the largest Arabic dataset ever used to train an open-source foundational model." "Batch size 960 Context Length 4096 Steps 94316"
Obliczenia treningowe
Arytmetyka wykonywana w celu wytrenowania modelu, mierzona w operacjach zmiennoprzecinkowych. Jest to miara kosztów przeprowadzenia treningu, a nie tego, jak szybko gotowy model odpowiada na twoje pytania.
- Obliczenia treningowe
- 9.7 × 10²³ FLOP
- Jak to zostało ustalone
- Operation counting
- Dostosowywanie obliczeń
- 1.6 × 10²³ FLOP
8.1e+23 FLOP (base model training compute) + 1.554e+23 FLOP (finetune compute) = 9.654e+23 FLOP
6 FLOP / parameter / token * 70 * 10^9 parameters * 370 * 10^9 tokens = 1.554e+23 FLOP
Przebieg szkolenia
Co fizycznie było potrzebne do treningu: jakie chipy, ile, na jak długo i co to pobierało z sieci.
- Sprzęt do trenowania
- Cerebras CS-2
- Zastosowane chipy
- 64
- Dostawca chmury
- Cerebras
- Centrum danych
- "The training process was performed on the Condor Galaxy (CG) supercomputer platform. A CG contains 64 Cerebras CS-2 Wafer-Scale Engines (WSE-2) with 40 GB of SRAM, and achieves a total of 960 PetaFLOP/s."
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim sprzęcie, co decyduje o tym, czy którakolwiek z cyfr karty graficznej na tej stronie ma zastosowanie.
- Wagi
- Open — downloadable
- Dostęp do modelu
- Open weights (restricted use)
- Kod treningowy
- Unreleased
- Hugging Face
- inceptionai
apache 2.0 (I believe Llama license restrictions still apply) https://huggingface.co/inceptionai/jais-adapted-70b
Jak jest klasyfikowane
Etykiety, które źródłowy zbiór danych stosuje podczas śledzenia znaczących modeli oraz jak pewny jest tego wpisu.
- Zapisz pewność
- Confident
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- G42 launches JAIS 70B and 20 other AI Models to Champion Arabic Natural Language Processing
- Ostatnio zaktualizowane
- 28 November 2025
Ekstremy
Dziesięć najszybszych GPU, które uruchamiają Jais-70B
Uszeregowany według szacowanej liczby tokenów na sekundę, najnowsza karta na pierwszym miejscu, gdy prędkości są równe. Ponieważ generacja jest ograniczona przez pamięć, to uporządkowanie podąża za przepustowością, a nie za jakimkolwiek benchmarkiem gier..
- 01 B300 288 GB · 8,000 GB/s · Q8_0 48.4 tok/s
- 02 B200 180 GB · 8,000 GB/s · Q8_0 48.4 tok/s
- 03 Radeon Instinct MI350X 288 GB · 8,190 GB/s · Q8_0 38.7 tok/s
- 04 Radeon Instinct MI355X 288 GB · 8,190 GB/s · Q8_0 38.7 tok/s
- 05 Radeon Instinct MI300 128 GB · 6,550 GB/s · Q8_0 30.9 tok/s
- 06 H200 NVL 141 GB · 4,890 GB/s · Q8_0 29.6 tok/s
- 07 H200 SXM 141 GB 141 GB · 4,890 GB/s · Q8_0 29.6 tok/s
- 08 H800 SXM5 80 GB · 3,360 GB/s · Q6_K 29.5 tok/s
- 09 H100 SXM5 80 GB 80 GB · 3,360 GB/s · Q6_K 29.5 tok/s
- 10 Radeon Instinct MI325X 256 GB · 6,000 GB/s · Q8_0 28.3 tok/s
Najmniejsze GPU, które nadal działają Jais-70B
Najtańsza droga do, według pojemności pamięci. Tight fit uruchamia model, ale nie zostawia nic na dłuższą rozmowę..
- 01 A800 PCIe 40 GB 40 GB · potrzeby 34.9 GB · Q3_K_M · Wąski 25.5 tok/s
- 02 A100 PCIe 40 GB 40 GB · potrzeby 34.9 GB · Q3_K_M · Wąski 25.5 tok/s
- 03 A100 SXM4 40 GB 40 GB · potrzeby 34.9 GB · Q3_K_M · Wąski 25.5 tok/s
- 04 Radeon PRO W7900D 48 GB · potrzeby 43.0 GB · Q4_K_M · Wąski 9.4 tok/s
- 05 RTX PRO 5000 Blackwell 48 GB · potrzeby 43.0 GB · Q4_K_M · Wąski 18.7 tok/s
- 06 RTX 5880 Ada Generation 48 GB · potrzeby 43.0 GB · Q4_K_M · Wąski 12.1 tok/s
- 07 L20 48 GB · potrzeby 43.0 GB · Q4_K_M · Wąski 12.1 tok/s
- 08 Radeon PRO W7800 48 GB 48 GB · potrzeby 43.0 GB · Q4_K_M · Wąski 9.4 tok/s
- 09 Radeon PRO W7900 48 GB · potrzeby 43.0 GB · Q4_K_M · Wąski 9.4 tok/s
- 10 Data Center GPU Max 1100 48 GB · potrzeby 43.0 GB · Q4_K_M · Wąski 11.2 tok/s
Co oznaczają liczby
Co potrzebujesz, aby go uruchomić
Minimalna karta
A100 PCIe 40 GB
Pamięć potrzebna
34.9 GB
Najszybszy
48.4 tok/s
Jais-70B osiąga liczbę parametrów równą 70B. To stawia to powyżej sprzętu konsumenckiego, w zakresie, gdzie karta jest kupowana do tego celu, zamiast przystosowywana do niego. Liczba kart, które śledzimy, które mogą to pomieścić: 61.
Najmniejszy sprzęt, który działa, to A100 PCIe 40 GB, o pojemności pamięci 40 GB, uruchomienie go przy kompresji Q3_K_M i produkując około 25.5 tokeny na sekundę
Na drugim końcu siedzi B200, generowanie w przybliżeniu 48.4 tokenów na sekundę na podstawie przepustowości pamięci 8,000 GB/s.
O tym modelu
Jais-70B został opublikowany przez G42,Inception G42, w kraju zapisanym jako United Arab Emirates, podczas August 2024. Kategoria, do której należy wydawca, to industry,Industry.
Działa w dziedzinie Language, i jest zapisany jako wykonujący zadanie language modeling/generation, Question answering.
Jego punktem wyjścia był istniejący model podstawowy, Llama 2-70B. To jest zwykły sposób produkcji wyspecjalizowanego modelu.
Wagi są publikowane, więc można je pobrać i uruchomić na własnym sprzęcie bezterminowo, offline, bez przypisanego konta. Na Hugging Face jest opublikowane pod organizacją inceptionai.
Jak szybko działa i dlaczego
Połowa kart, które go trzymają, osiąga więcej niż 17.1 tokenów na sekundę 50 ich
Każda waga uczestniczy w każdym tokenie tutaj, więc szerokość pasma jest całą historią: poniższa lista to w rzeczywistości ranking przepustowości pamięci.
Bez układu uwagi na rekordzie, kolumna pamięci jest przybliżeniem. Jest wystarczająco bliska, aby wybrać sprzęt, i najmniej wiarygodna przy długim kontekście.
Jak to zostało wytrenowane
Trening zajmował około 9.7 × 10²³ FLOP, na sprzęcie zarejestrowanym jako Cerebras CS-2. Ta liczba mierzy, ile kosztowało wyprodukowanie modelu i nie ma wpływu na to, jak szybko odpowiada.
Został wytrenowany na korpusie około 370,000,000,000 Tokeny tekstu.
Krok po kroku
Jak wybrać GPU do Jais-70B
Tabela powyżej oceniła już każdą kartę, dla której posiadamy specyfikacje, w stosunku do tego modelu. Dotarcie do odpowiedzi wymaga sześciu kroków..
-
01
Zacznij od kolumny pamięci
Zacznij od tego, co tak naprawdę jest potrzebne, czyli wymogu Jais-70B, potrzebując około 34.9 GB przy kompresji Q3_K_M. Żadna ilość mocy obliczeniowej nie może zrekompensować karty, która nie może jej pomieścić.
-
02
Dopasuj kontekst do swojego rzeczywistego użycia
Rozmowa zajmuje pamięć również, i rośnie w miarę trwania. Ustaw suwak na długość, której się spodziewasz, ponieważ przy długim kontekście karta, która łatwo obsługuje krótkie pytania, może zostać odrzucona przez Jais-70B.
-
03
Ustal minimalną jakość
Kompresja to to, co sprawia, że model mieści się w mniejszych KARTACH, kosztem pewnej dokładności., osiągnięcie kompresji Q3_K_M na najmniejszej karcie, która się mieści. Ustalenie minimalnej jakości odrzuca karty, które tylko ją osiągają, uciskając bardziej niż byś chciał, i utrzymuje porównanie na jednym poziomie.
-
04
Sortuj według prędkości
Sortuj według prędkości, aby zobaczyć, jak karty się klasyfikują. Jais-70B. Nie dopasuje się do zamówienia gier, ponieważ generacja jest ograniczona przez przepustowość pamięci. Karta na szczycie listy to B200, w 48.4 tok/s
-
05
Przeczytaj kolumnę dopasowania jako ostatnią
Kolumna dopasowania oddziela karty, które ledwo dają radę, od tych, które mają zapas w przypadku Jais-70B. Wygodne oznacza, że możesz później zwiększyć kontekst. Ta różnica ma większe znaczenie niż kilka tokenów na sekundę, więc kupuj za wygodne, jeśli tego oczekujesz.
-
06
Zobacz, co jeszcze ta karta uruchamia
Każda strona karty powtarza tę procedurę dla każdego modelu, który posiadamy, odpowiadając, do czego jeszcze sprzęt jest przydatny poza Jais-70B.
Odpowiedzi
Jais-70B — częste pytania
Jais-70B— dlaczego kwantyzacja różni się między kartami?
Większa KARTA przechowuje dokładniejszą kopię. Liczba poziomów kompresji używanych w KARTACH, które ją uruchamiają: 5. Większe karty otrzymują dokładniejszą wersję, a minimalna jakość powyżej ustala porównanie na jednym poziomie.
Jais-70B— Jak dokładne są te szacunki prędkości?
Każda wartość pochodzi z przepustowości pamięci i rozmiaru modelu, a nie z testów porównawczych, dlatego każda jest publikowana jako zakres, a nie pojedyncza liczba. Jeden przykład: 29–77 tok/s na B200. Ten sam model i karta różnią się o trzydzieści do pięćdziesięciu procent w zależności od oprogramowania inferencyjnego i jego wersji.
Jais-70B— Jaką GPU potrzebuję, aby ją uruchomić?
Najmniejsza karta w naszym katalogu, która to pomieści, to A100 PCIe 40 GB, o pojemności pamięci 40 GB. Uruchamia model przy kompresji Q3_K_M używając około 34.9 GB, i produkuje w przybliżeniu 25.5 tokenów na sekundę. Liczba kart, które mogą go uruchomić łącznie: 61.
Jais-70B— jak szybko działa na GPU?
To zależy od karty. Najszybciej obliczamy to B200, około 48.4 tokenów na sekundę; najwolniejszy, który nadal działa, osiąga znacznie mniej. Prędkość odczytu wynosi około dziesięciu tokenów na sekundę, a liczba kart, które to osiągają: 50.
Jais-70B— Ile VRAM-u potrzebuje?
Potrzebuje około 34.9 GB przy kompresji Q3_K_M, który jest najmniejszą kartą, która to uruchamia. Mniej kompresji potrzebuje więcej: liczby w kolumnie pamięci powyżej są przeliczane dla każdej karty, ponieważ każda z nich trzyma wersję o najmniejszej kompresji, jaką może.
Jais-70B— czy jest open weight?
Jego wagi są opublikowane, więc można je pobrać i uruchomić na własnym sprzęcie. Zauważ, że OPEN WEIGHTS nie są tym samym co OPEN SOURCE w pełnym sensie — nie mówi nic o danych treningowych, kodzie treningowym, ani warunkach komercyjnych.
Jais-70B— ile ma parametrów?
Ma liczbę parametrów równą 70B. 70B. Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.
Jais-70B— kto to stworzył?
Zostało opublikowane przez G42,Inception G42, oparty na United Arab Emirates, organizacja sklasyfikowana jako industry,Industry.
Jais-70B— kiedy to zostało wydane?
Zostało opublikowane w August 2024. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.
Jais-70B— do czego to służy?
Działa w dziedzinie Language, i jest zarejestrowany jako realizujący zadanie language modeling/generation, Question answering. To są obszary, wokół których został zaprojektowany; opisują zamiar, a nie twardą granicę.
Jais-70B— Gdzie mogę to pobrać?
Jego wagi są publikowane na Hugging Face, pod organizacją inceptionai. Nie hostujemy plików modelu — ta strona oblicza, jaki sprzęt jest potrzebny do ich uruchomienia.
Jais-70B— ile mocy obliczeniowej użyto do jego trenowania?
Szkolenie zajęło około 9.7 × 10²³ FLOP, na sprzęcie zarejestrowanym jako Cerebras CS-2. To mierzy, ile kosztowało wyprodukowanie modelu i nie mówi nic o tym, jak szybko odpowiada po wytrenowaniu — prędkość wnioskowania pochodzi z SZEROKOŚCI PASMA, a nie z budżetu treningowego.
Jais-70B— czy mogę go uruchomić, jeśli nie mieści się w moim GPU?
Tylko przez odciążenie, co zwykle jest fałszywą oszczędnością: część trzymana w pamięci systemowej spowalnia cały proces. Najbliższy brak, który obliczamy, jest za mały o 14.2 GB Każda figura tutaj zakłada, że cały model jest zainstalowany na karcie.
Jais-70B— czy dwa GPU uruchomią to szybciej?
Druga KARTA mniej więcej podwaja dostępna PAMIĘĆ, ale nie tempo generacji. Liczba już zdolna do uruchomienia jej samodzielnie: 61. Więc druga karta rzadko jest odpowiedzią tutaj.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko będzie działać., Zacznij od sprzętu zamiast.