Meena
Brak szacunków
Brak wymagań sprzętowych dla tego modelu
Wagi tego modelu nie zostały opublikowane, dlatego nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny wyłącznie poprzez jego dostawcę, a żadna karta graficzna tego nie zmieni.
Na nagraniu
Pełna specyfikacja
Wszystko, co jest dostępne na temat tego modelu. Większość z tego opisuje, jak został wytrenowany, a nie jak działa — przydatny kontekst do oceny, ile pracy w to włożono i jak wypada na tle modeli zbudowanych na innym poziomie skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- Google Brain
- Typ organizacji
- Industry
- Kraj
- United States of America
- Opublikowane
- 28 January 2020
- Autorzy
- Dongling Xiao, Han Zhang, Yukun Li, Yu Sun, Hao Tian, Hua Wu, Haifeng Wang
Co to robi
Obszary problemowe, dla których stworzono model. Model może zawierać kilka z każdej.
- Domena
- Language
- Zadanie
- Text autocompletion, Chat
- Approach
- Self-supervised learning
Rozmiar
Jakiej wielkości jest model i na ile danych był szkolony. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- Parametry
- 2.6B
- Dane treningowe
- 53,333,333,333 tokens
- Epoki
- 164
- Batch size
- 82,655
"We present Meena, a multi-turn open-domain chatbot trained end-to-end on data mined and filtered from public domain social media conversations. This 2.6B parameter neural network is simply trained to minimize perplexity of the next token."
"The final Meena dataset contains 341GB of text (40B words)" Converting from GB to words yields 6.8e10, which is in the same OOM
61B tokens over 738k training steps, or 82655 tokens per batch on average. Not certain about warmup, etc
Obliczenia szkoleniowe
Aritmetyka wykonywana w celu wytrenowania modelu, mierzone w operacjach zmiennoprzecinkowych. Jest to miara kosztu przeprowadzonego treningu, a nie tego, jak szybko gotowy model odpowiada na twoje zapytania.
- Obliczenia szkoleniowe
- 1.1 × 10²³ FLOP
- Jak to zostało ustalone
- Hardware,Operation counting,Third-party estimation
https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf Table 4 In the paper: "We trained our best model for 30 days on a TPUv3 Pod (2,048 TPU cores) on the Meena dataset containing 40B words (or 61B BPE tokens) [...] by the end of training, the model had traversed the full training set 164 times (or epochs) and observed a total of about 10T tokens" Hardware: 30 * 24 * 3600 * (2048/2) * 1.23e14 * 0.3 = 9.794e22 Ops counting: 6 * 10T * 2.6B = 1.56E23 Geometric mean: sqrt(9.79e22*1.56E23) = 1.24e…
Trening
Co fizycznie zajęło szkolenie: które chipy, ile ich, na jak długo i ile to pobrało z sieci.
- Sprzęt szkoleniowy
- Google TPU v3
- Chips użyte
- 1,024
- Chip-hours
- 737,280
- Wall-clock time
- 720 hours (30 days)
- Wykorzystanie sprzętu
- HFU 34.3%
- Pobór mocy
- 942.7 kW
- Compute cost
- $214,810
We trained our best model for 30 days on a TPUv3 Pod (2,048 TPU cores)
Per https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf 1.12e23 FLOPs used 1024 TPUv3s for 30 days: 30 * 24 * 3600 * 1024 * 1.23e14 = 3.2647e23 1.12e23 / 3.2647e23 HFU = 0.3431
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim własnym sprzęcie, co decyduje, czy jakiekolwiek z danych dotyczących karty graficznej na tej stronie mają zastosowanie.
- Wagi
- Closed — provider access only
- Dostęp do modelu
- Unreleased
- Kod treningowy
- Unreleased
Jak jest klasyfikowane
Etykiety stosowane przez źródłowy zbiór danych podczas śledzenia znaczących modeli oraz jak pewny jest w danym wpisie.
- Frontier model
- Yes
- Prawdopodobnie powyżej 10²³ FLOP
- Yes
- Dlaczego jest śledzone
- SOTA improvement
- Zaufanie do nagrania
- Confident
- Cytacje
- 1,020
"We also propose a human evaluation metric called Sensibleness and Specificity Average (SSA)... the full version of Meena (with a filtering mechanism and tuned decoding) scores 79% SSA, 23% higher in absolute SSA than the existing chatbots we evaluated"
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- Towards a Human-like Open-Domain Chatbot
- Ostatnia aktualizacja
- 25 May 2026
Co oznaczają liczby
O tym modelu
Meena was published by Google Brain, in United States of America, in January 2020. It comes out of industry.
It works in Language, and is recorded as doing text autocompletion, Chat.
To jest model zamknięty: wytrenowane wartości pozostały u tych, którzy je wyprodukowali, i nie ma lokalnej wersji do uruchomienia.
Training and provenance
The training run consumed about 1.1 × 10²³ FLOP, on Google TPU v3. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Around 53,333,333,333 tokens went into training it.
It is tracked in the underlying dataset for one reason in particular: sOTA improvement.
Odpowiedzi
Meena — Często zadawane pytania
Who created Meena?
Meena was published by Google Brain, based in United States of America, categorised as industry.
When was Meena released?
Meena was published in January 2020. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Meena used for?
Meena works in Language, and is recorded as handling text autocompletion, Chat. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
How much compute was used to train Meena?
Around 1.1 × 10²³ FLOP, on Google TPU v3. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Meena?
None. Meena is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Meena open source?
No. Meena has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Meena have?
Meena has 2.6B parameters. "We present Meena, a multi-turn open-domain chatbot trained end-to-end on data mined and filtered from public domain social media conversations. This 2.6B parameter neural network is simply trained to minimize perplexity of the next token.". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
W innym kierunku
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, wszystko co będzie ona obsługiwać, Rozpocznij od sprzętu..