Llama 2-34B
Brak szacunków
Brak wymagań sprzętowych dla tego modelu
Wagi tego modelu nie zostały opublikowane, dlatego nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny wyłącznie poprzez jego dostawcę, a żadna karta graficzna tego nie zmieni.
Na nagraniu
Pełna specyfikacja
Wszystko, co jest dostępne na temat tego modelu. Większość z tego opisuje, jak został wytrenowany, a nie jak działa — przydatny kontekst do oceny, ile pracy w to włożono i jak wypada na tle modeli zbudowanych na innym poziomie skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- Meta AI
- Typ organizacji
- Industry
- Kraj
- United States of America
- Opublikowane
- 18 July 2023
- Autorzy
- Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan,…
Co to robi
Obszary problemowe, dla których stworzono model. Model może zawierać kilka z każdej.
- Domena
- Language
- Zadanie
- Language modeling
- Approach
- Supervised
Rozmiar
Jakiej wielkości jest model i na ile danych był szkolony. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- Parametry
- 34B
- Dane treningowe
- 2,000,000,000,000 tokens
- Epoki
- 1
- Batch size
- 4,000,000
Llama has been released in 7B, 13B, 34B, and 70B variants.
Obliczenia szkoleniowe
Aritmetyka wykonywana w celu wytrenowania modelu, mierzone w operacjach zmiennoprzecinkowych. Jest to miara kosztu przeprowadzonego treningu, a nie tego, jak szybko gotowy model odpowiada na twoje zapytania.
- Obliczenia szkoleniowe
- 4.1 × 10²³ FLOP
- Jak to zostało ustalone
- Hardware,Operation counting
All models sizes trained on 2.0T tokens, per table 1 2T * 34b * 6 = 4.08e23 Also trained on 1038336 A100-hours, which is 3.5e23 at 30% utilization. So the utilization was probably around 35%.
Trening
Co fizycznie zajęło szkolenie: które chipy, ile ich, na jak długo i ile to pobrało z sieci.
- Sprzęt szkoleniowy
- NVIDIA A100 SXM4 80 GB
- Compute cost
- $600,470
- Data centre
- Meta’s Research Super Cluster
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim własnym sprzęcie, co decyduje, czy jakiekolwiek z danych dotyczących karty graficznej na tej stronie mają zastosowanie.
- Wagi
- Closed — provider access only
- Dostęp do modelu
- Unreleased
- Kod treningowy
- Unreleased
Jak jest klasyfikowane
Etykiety stosowane przez źródłowy zbiór danych podczas śledzenia znaczących modeli oraz jak pewny jest w danym wpisie.
- Prawdopodobnie powyżej 10²³ FLOP
- Yes
- Dlaczego jest śledzone
- Highly cited
- Zaufanie do nagrania
- Confident
- Cytacje
- 16,911
Model has been open-sourced and frequently downloaded. The paper claims that Llama 2 is the current best open-source chat model as of its release date.
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- Llama 2: Open Foundation and Fine-Tuned Chat Models
- Ostatnia aktualizacja
- 25 May 2026
Co oznaczają liczby
O tym modelu
Llama 2-34B was published by Meta AI, in United States of America, in July 2023. It comes out of industry.
It works in Language, and is recorded as doing language modeling.
Ponieważ wagi nie są dostępne, żadne z figur sprzętowych innych miejsc na tej stronie się do niej nie odnoszą.
Training and provenance
Training it took roughly 4.1 × 10²³ FLOP of computation, on NVIDIA A100 SXM4 80 GB — a measure of what producing the model cost, not of how fast it answers.
Around 2,000,000,000,000 tokens went into training it.
The reason it appears in this catalogue at all is highly cited.
Odpowiedzi
Llama 2-34B — Często zadawane pytania
Is Llama 2-34B open source?
No. Llama 2-34B has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Llama 2-34B have?
Llama 2-34B has 34B parameters. Llama has been released in 7B, 13B, 34B, and 70B variants. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Llama 2-34B?
Llama 2-34B was published by Meta AI, based in United States of America, categorised as industry.
When was Llama 2-34B released?
Llama 2-34B was published in July 2023. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Llama 2-34B used for?
Llama 2-34B works in Language, and is recorded as handling language modeling. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
How much compute was used to train Llama 2-34B?
Around 4.1 × 10²³ FLOP, on NVIDIA A100 SXM4 80 GB. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Llama 2-34B?
None. Llama 2-34B is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
W innym kierunku
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, wszystko co będzie ona obsługiwać, Rozpocznij od sprzętu..