Switch kalkulator TPS
Każda karta poniżej jest oceniana w stosunku do tego modelu przy wybranej długości kontekstu i minimalnej jakości. Prędkość jest oszacowaniem dla pojedynczego żądania, obliczonym na podstawie przepustowości pamięci karty i rozmiaru modelu po skompresowaniu..
Obliczone dla tego modelu
818 Karty, które posiadamy specyfikacje dla
Które GPU mogą uruchomić Switch?
Ustaw wejścia, odczytaj odpowiedź.
Dłuższa rozmowa wymaga więcej MEMORY, co może spowodować, że ten model nie zmieści się na mniejszych CARD..
Ukrywa karty, które zmieściłyby się w modelu tylko przez skompresowanie go poniżej tego punktu..
0 karty pasują
Obliczanie| potrzeby | Kwantyzacja | Pasuje | |||||
|---|---|---|---|---|---|---|---|
|
Żaden KARTA w naszym katalogu nie może uruchomić tego modelu z tymi ustawieniami.. |
|||||||
Prędkości są szacunkami dla pojedynczego zapytania — jednej konwersacji na raz — obliczonymi na podstawie przepustowości pamięci, rozmiaru MODELu i kwantyzacji. Rzeczywista przepustowość różni się w zależności od czasu uruchamiania inference i jego wersji. Wartości publikowane przez dostawców sprzętu mierzą wiele jednoczesnych zapytań i są znacznie wyższe..
Na nagranie
Pełna specyfikacja
Wszystko na rekord dla tego modelu. Większość z tego opisuje, jak był trenowany, a nie jak działa — użyteczny kontekst do oceny, ile pracy włożono w to, i jak wypada w porównaniu z modelami budowanymi w innym skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- Typ organizacji
- Industry
- Kraj
- United States of America
- Opublikowany
- 11 January 2021
- Autorzy
- William Fedus, Barret Zoph, Noam Shazeer
Co to robi
Obszary problemowe, dla których stworzono model. Model może mieć kilka z każdego.
- Domena
- Language
- Zadanie
- Text autocompletion
- Podejście
- Self-supervised learning
- Format numeryczny
- BF16
Rozmiar
Jak duży jest model i na ile danych był trenowany. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- parametry
- 1.6T
- Dane treningowe
- 86,400,000,000 tokens
"Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters
"In our protocol we pre-train with 2^20 (1,048,576) tokens per batch for 550k steps amounting to 576B total tokens." 1 token ~ 0.75 words
Obliczenia treningowe
Arytmetyka wykonywana w celu wytrenowania modelu, mierzona w operacjach zmiennoprzecinkowych. Jest to miara kosztów przeprowadzenia treningu, a nie tego, jak szybko gotowy model odpowiada na twoje pytania.
- Obliczenia treningowe
- 8.2 × 10²² FLOP
- Jak to zostało ustalone
- Third-party estimation
Table 4 https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
Przebieg szkolenia
Co fizycznie było potrzebne do treningu: jakie chipy, ile, na jak długo i co to pobierało z sieci.
- Sprzęt do trenowania
- Google TPU v3
- Zastosowane chipy
- 1,024
- Czas-chip
- 663,552
- Czas rzeczywisty
- 648 hours (27 days)
- Wykorzystanie sprzętu
- HFU 28.0%
- Pobór mocy
- 935.4 kW
- Koszt obliczeniowy
- $145,101
see table 4 in https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
Table 4 in https://arxiv.org/pdf/2104.10350 gives measured performance of 34.4 TFLOP/s, vs. peak achievable FLOP/s of 123 TFLOP/s on the TPUv3 being used. HFU = 34.4/123 = 0.27967
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim sprzęcie, co decyduje o tym, czy którakolwiek z cyfr karty graficznej na tej stronie ma zastosowanie.
- Wagi
- Open — downloadable
- Dostęp do modelu
- Open weights (unrestricted)
- Kod treningowy
- Unreleased
Apache 2 for weights: https://huggingface.co/google/switch-c-2048 paper links to this repo but not clear that the training hyperparams for Switch are here: https://github.com/google-research/t5x
Jak jest klasyfikowane
Etykiety, które źródłowy zbiór danych stosuje podczas śledzenia znaczących modeli oraz jak pewny jest tego wpisu.
- Model Frontier
- Yes
- Dlaczego to jest śledzone
- Highly cited,SOTA improvement
- Zapisz pewność
- Confident
- Cytaty
- 3,888
" On ANLI (Nie et al., 2019), Switch XXL improves over the prior state-of-the-art to get a 65.7 accuracy versus the prior best of 49.4 (Yang et al., 2020)... Finally, we also conduct an early examination of the model’s knowledge with three closed-book knowledge-based tasks: Natural Questions, WebQuestions and TriviaQA, without additional pre-training using Salient Span Masking (Guu et al., 2020). In all three cases, we observe improvements over the prior stateof-the-art T5-XXL model (without SSM…
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
- Ostatnio zaktualizowane
- 25 May 2026
Co oznaczają liczby
Co potrzebujesz, aby go uruchomić
Switch osiąga liczbę parametrów równą 1.6T. To jest poza tym, co miałaby jakakolwiek pojedyncza karta graficzna. Uruchomienie go oznacza albo podział na kilka kart, albo wynajęcie sprzętu przeznaczonego do tego zadania, a każda karta, która mogłaby go pomieścić sama, jest częścią centrum danych. Liczba, która może: 0.
Tło
Switch został opublikowany przez Google, w kraju zapisanym jako United States of America, podczas January 2021. Organizacja publikująca jest klasyfikowana jako industry.
Działa w dziedzinie Language, i jest zapisany jako wykonujący zadanie text autocompletion.
Wagi są publikowane, więc można je pobrać i uruchomić na własnym sprzęcie bezterminowo, offline, bez przypisanego konta.
Szkolenie i pochodzenie
Trening zajmował około 8.2 × 10²² FLOP, na sprzęcie zarejestrowanym jako Google TPU v3. Ta liczba mierzy, ile kosztowało wyprodukowanie modelu i nie ma wpływu na to, jak szybko odpowiada.
Trening zużył korpus około 86,400,000,000 Tokeny tekstu.
Jest śledzone w podstawowym zbiorze danych z jednego szczególnego powodu: highly cited,SOTA improvement.
Krok po kroku
Jak wybrać GPU do Switch
Tabela powyżej oceniła już każdą kartę, dla której posiadamy specyfikacje, w stosunku do tego modelu. Dotarcie do odpowiedzi wymaga sześciu kroków..
-
01
Przeczytaj najpierw liczbę pamięci
Zacznij od tego, co tak naprawdę jest potrzebne, czyli wymogu Switch. To ta liczba, a nie nagłówkowa wydajność karty, decyduje o tym, czy można ją uruchomić.
-
02
Zdecyduj, jak długo trwają twoje rozmowy
Rozmowa zajmuje pamięć również, i rośnie w miarę trwania. Ustaw suwak na długość, której się spodziewasz, ponieważ przy długim kontekście karta, która łatwo obsługuje krótkie pytania, może zostać odrzucona przez Switch.
-
03
Zdecyduj, ile kompresji zaakceptujesz
Kompresja to to, co sprawia, że model mieści się w mniejszych KARTACH, kosztem pewnej dokładności.. Ustalenie minimalnej jakości odrzuca karty, które tylko ją osiągają, uciskając bardziej niż byś chciał, i utrzymuje porównanie na jednym poziomie.
-
04
Sortuj według prędkości
Sortuj według prędkości, aby zobaczyć, jak karty się klasyfikują. Switch. Nie dopasuje się do zamówienia gier, ponieważ generacja jest ograniczona przez przepustowość pamięci.
-
05
Przeczytaj kolumnę dopasowania jako ostatnią
Kolumna dopasowania oddziela karty, które ledwo dają radę, od tych, które mają zapas w przypadku Switch. Wygodne oznacza, że możesz później zwiększyć kontekst. Ta różnica ma większe znaczenie niż kilka tokenów na sekundę, więc kupuj za wygodne, jeśli tego oczekujesz.
-
06
Zobacz, co jeszcze ta karta uruchamia
Śledzenie karty do jej własnej strony pokazuje każdy inny model, który może pomieścić, co jest pytaniem, które pojawia się po podjęciu decyzji o Switch.
Odpowiedzi
Switch — częste pytania
Switch— do czego to służy?
Działa w dziedzinie Language, i jest zarejestrowany jako realizujący zadanie text autocompletion. To są obszary, wokół których został zaprojektowany; opisują zamiar, a nie twardą granicę.
Switch— Gdzie mogę to pobrać?
Wagi są opublikowane, chociaż nie posiadamy linku do repozytorium. Ta strona oblicza wymagania sprzętowe, a nie hostuje pliki modelu.
Switch— ile mocy obliczeniowej użyto do jego trenowania?
Szkolenie zajęło około 8.2 × 10²² FLOP, na sprzęcie zarejestrowanym jako Google TPU v3. To mierzy, ile kosztowało wyprodukowanie modelu i nie mówi nic o tym, jak szybko odpowiada po wytrenowaniu — prędkość wnioskowania pochodzi z SZEROKOŚCI PASMA, a nie z budżetu treningowego.
Switch— czy mogę go uruchomić, jeśli nie mieści się w moim GPU?
Można go podzielić między kartą a pamięcią systemową, ale w ten sposób generuje się boleśnie powoli. Najbliższy brak, który obliczamy, jest za mały o 691.9 GB Każda figura tutaj zakłada, że cały model jest zainstalowany na karcie.
Switch— czy dwa GPU uruchomią to szybciej?
Dwie karty kupują pamięć zamiast szybkości, co ma znaczenie tylko wtedy, gdy jedna karta nie może jej pomieścić. Liczba, która może: 0. Więc druga karta rzadko jest odpowiedzią tutaj.
Switch— dlaczego kwantyzacja różni się między kartami?
Większa KARTA przechowuje dokładniejszą kopię. Liczba poziomów kompresji używanych w KARTACH, które ją uruchamiają: 1. Większe karty otrzymują dokładniejszą wersję, a minimalna jakość powyżej ustala porównanie na jednym poziomie.
Switch— Jak dokładne są te szacunki prędkości?
To są szacunki z rzeczywistymi marginesami błędu, a każdy z nich mógłby rozsądnie wypaść gdziekolwiek w swoim opublikowanym zakresie w zależności od używanego uruchomienia. Najszybszy wynik tutaj: zakres poniżej każdej liczby Ten sam model i karta różnią się o trzydzieści do pięćdziesięciu procent w zależności od oprogramowania inferencyjnego i jego wersji.
Switch— czy jest open weight?
Jego wagi są opublikowane, więc można je pobrać i uruchomić na własnym sprzęcie. Zauważ, że OPEN WEIGHTS nie są tym samym co OPEN SOURCE w pełnym sensie — nie mówi nic o danych treningowych, kodzie treningowym, ani warunkach komercyjnych.
Switch— ile ma parametrów?
Ma liczbę parametrów równą 1.6T. "Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters. Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.
Switch— kto to stworzył?
Zostało opublikowane przez Google, oparty na United States of America, organizacja sklasyfikowana jako industry.
Switch— kiedy to zostało wydane?
Zostało opublikowane w January 2021. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko będzie działać., Zacznij od sprzętu zamiast.