Megatron-LM (8.3B)
Brak oszacowania
Brak wymagań sprzętowych dla tego modelu
Wagi dla tego modelu nie zostały opublikowane, więc nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny tylko za pośrednictwem swojego dostawcy, a zmiana karty graficznej tego nie zmienia..
Na nagranie
Pełna specyfikacja
Wszystko na rekord dla tego modelu. Większość z tego opisuje, jak był trenowany, a nie jak działa — użyteczny kontekst do oceny, ile pracy włożono w to, i jak wypada w porównaniu z modelami budowanymi w innym skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- NVIDIA
- Typ organizacji
- Industry
- Kraj
- United States of America
- Opublikowany
- 17 September 2019
- Autorzy
- Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, Bryan Catanzaro
Co to robi
Obszary problemowe, dla których stworzono model. Model może mieć kilka z każdego.
- Domena
- Language
- Zadanie
- Language modeling/generation
- Podejście
- Self-supervised learning
- Format numeryczny
- FP16
Rozmiar
Jak duży jest model i na ile danych był trenowany. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- parametry
- 8.3B
- Dane treningowe
- 46,400,000,000 tokens
- Epoki
- 4.4
Source: https://lair.lighton.ai/akronomicon/ Archived source: https://web.archive.org/web/20211220142906/https://lair.lighton.ai/akronomicon/ Data also available on GitHub: https://github.com/lightonai/akronomicon/blob/main/akrodb/NVIDIA/Megatron-LM.json
"The resulting aggregate corpus contains 174 GB of deduplicated text."
Obliczenia treningowe
Arytmetyka wykonywana w celu wytrenowania modelu, mierzona w operacjach zmiennoprzecinkowych. Jest to miara kosztów przeprowadzenia treningu, a nie tego, jak szybko gotowy model odpowiada na twoje pytania.
- Obliczenia treningowe
- 9.1 × 10²¹ FLOP
- Jak to zostało ustalone
- Hardware,Operation counting,Third-party estimation
source: https://lair.lighton.ai/akronomicon/ archived: https://github.com/lightonai/akronomicon/tree/main/akrodb other estimates: 8.3B is a GPT-2-based model (Table 2). "For GPT-2 models, all training is performed with sequences of 1024 subword units at a batch size of 512 for 300k iterations" I interpret the above as 1024*512*300k = 157B training tokens 6 * 157 billion * 8.3 billion = 7.8e21 Also, their training setup achieved 15.1 petaFLOPS or 1.5e16 FLOPS. (512 V100s is 512 * 125 ter…
Przebieg szkolenia
Co fizycznie było potrzebne do treningu: jakie chipy, ile, na jak długo i co to pobierało z sieci.
- Sprzęt do trenowania
- NVIDIA Tesla V100 DGXS 32 GB
- Zastosowane chipy
- 512
- Czas-chip
- 167,424
- Czas rzeczywisty
- 327 hours (13.6 days)
- Wykorzystanie sprzętu
- HFU 23.6%
- Pobór mocy
- 262.6 kW
- Koszt obliczeniowy
- $109,288
Reported throughput is 15.1 teraFLOPS per GPU on 512 GPUs Assume total compute is 9.1e21 FLOP. Then training time is 327 hours. https://www.wolframalpha.com/input?i=9.1*10%5E21+FLOP+%2F+%28512*15.1+teraFLOPS%29
Achieved 15.1 PetaFLOP/s on 512 V100s, vs theoretical maximum of 512 * 125e12 = 64 PetaFLOP/s HFU = 15.1 / 64 = 0.2359
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim sprzęcie, co decyduje o tym, czy którakolwiek z cyfr karty graficznej na tej stronie ma zastosowanie.
- Wagi
- Closed — provider access only
- Dostęp do modelu
- Unreleased
- Kod treningowy
- Open source
code (2.5B model is a GPT model): https://github.com/NVIDIA/Megatron-LM?tab=readme-ov-file#megatron-overview open license: https://github.com/NVIDIA/Megatron-LM?tab=License-1-ov-file#readme
Jak jest klasyfikowane
Etykiety, które źródłowy zbiór danych stosuje podczas śledzenia znaczących modeli oraz jak pewny jest tego wpisu.
- Model Frontier
- Yes
- Dlaczego to jest śledzone
- Highly cited,SOTA improvement
- Zapisz pewność
- Likely
- Cytaty
- 2,766
- Dane benchmarkowe
- Megatron-LM (8.3B)
"Using the GPT-2 model we achieve SOTA results on the WikiText103 (10.8 compared to SOTA perplexity of 15.8) and LAMBADA" GPT-2 model here meaning model similar to GPT-2
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
- Ostatnio zaktualizowane
- 25 May 2026
Co oznaczają liczby
Skąd to pochodzi
Megatron-LM (8.3B) został opublikowany przez NVIDIA, w kraju zapisanym jako United States of America, podczas September 2019. Organizacja publikująca jest klasyfikowana jako industry.
Działa w dziedzinie Language, i jest zapisany jako wykonujący zadanie language modeling/generation.
To jest model zamknięty: wytrenowane wartości pozostały u tego, kto je wyprodukował, a lokalna wersja do uruchomienia nie istnieje.
Co poszło w budowę tego
Trening zajmował około 9.1 × 10²¹ FLOP, na sprzęcie zarejestrowanym jako NVIDIA Tesla V100 DGXS 32 GB. Ta liczba mierzy, ile kosztowało wyprodukowanie modelu i nie ma wpływu na to, jak szybko odpowiada.
Został wytrenowany na korpusie około 46,400,000,000 Tokeny tekstu.
Kryterium włączenia: highly cited,SOTA improvement.
Odpowiedzi
Megatron-LM (8.3B) — częste pytania
Megatron-LM (8.3B)— kiedy to zostało wydane?
Zostało opublikowane w September 2019. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.
Megatron-LM (8.3B)— do czego to służy?
Działa w dziedzinie Language, i jest zarejestrowany jako realizujący zadanie language modeling/generation. To są obszary, wokół których został zaprojektowany; opisują zamiar, a nie twardą granicę.
Megatron-LM (8.3B)— ile mocy obliczeniowej użyto do jego trenowania?
Szkolenie zajęło około 9.1 × 10²¹ FLOP, na sprzęcie zarejestrowanym jako NVIDIA Tesla V100 DGXS 32 GB. To mierzy, ile kosztowało wyprodukowanie modelu i nie mówi nic o tym, jak szybko odpowiada po wytrenowaniu — prędkość wnioskowania pochodzi z SZEROKOŚCI PASMA, a nie z budżetu treningowego.
Megatron-LM (8.3B)— Jaką GPU potrzebuję, aby ją uruchomić?
Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.
Megatron-LM (8.3B)— czy jest open weight?
Nie. Jego wagi nie zostały opublikowane, więc istnieje tylko jako usługa kontrolowana przez jego właściciela.
Megatron-LM (8.3B)— ile ma parametrów?
Ma liczbę parametrów równą 8.3B. Source: https://lair.lighton.ai/akronomicon/ Archived source: https://web.archive.org/web/20211220142906/https://lair.lighton.ai/akronomicon/ Data also available on GitHub: https://github.com/lightonai/akronomicon/blob/main/akrodb/NVIDIA/Megatron-LM.json. Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.
Megatron-LM (8.3B)— kto to stworzył?
Zostało opublikowane przez NVIDIA, oparty na United States of America, organizacja sklasyfikowana jako industry.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko będzie działać., Zacznij od sprzętu zamiast.