Meena
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul vostro hardware a qualsiasi dimensione. È accessibile solo attraverso il suo fornitore, e nessuna scheda grafica può cambiare questo.
In registrazione
Specifiche complete
Tutto ciò che riguarda questo modello. La maggior parte delle informazioni descrive come è stato addestrato piuttosto che come viene eseguito — un contesto utile per valutare la quantità di lavoro impiegata e come si confronta con modelli realizzati su scala diversa.
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Google Brain
- Tipo di organizzazione
- Industry
- Paese
- United States of America
- Pubblicato
- 28 January 2020
- Autori
- Dongling Xiao, Han Zhang, Yukun Li, Yu Sun, Hao Tian, Hua Wu, Haifeng Wang
Cosa fa
Le aree problematiche per cui è stato costruito il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Language
- Compito
- Text autocompletion, Chat
- Approach
- Self-supervised learning
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono il valore che decide se si adatta a una determinata scheda grafica.
- Parametri
- 2.6B
- Dati di addestramento
- 53,333,333,333 tokens
- Epoche
- 164
- Dimensione del batch
- 82,655
"We present Meena, a multi-turn open-domain chatbot trained end-to-end on data mined and filtered from public domain social media conversations. This 2.6B parameter neural network is simply trained to minimize perplexity of the next token."
"The final Meena dataset contains 341GB of text (40B words)" Converting from GB to words yields 6.8e10, which is in the same OOM
61B tokens over 738k training steps, or 82655 tokens per batch on average. Not certain about warmup, etc
Addestramento computazionale
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto costato l'addestramento, non di quanto velocemente il modello finito ti risponde.
- Addestramento computazionale
- 1.1 × 10²³ FLOP
- Come è stato stabilito
- Hardware,Operation counting,Third-party estimation
https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf Table 4 In the paper: "We trained our best model for 30 days on a TPUv3 Pod (2,048 TPU cores) on the Meena dataset containing 40B words (or 61B BPE tokens) [...] by the end of training, the model had traversed the full training set 164 times (or epochs) and observed a total of about 10T tokens" Hardware: 30 * 24 * 3600 * (2048/2) * 1.23e14 * 0.3 = 9.794e22 Ops counting: 6 * 10T * 2.6B = 1.56E23 Geometric mean: sqrt(9.79e22*1.56E23) = 1.24e…
Il training run
Cosa è stato fisicamente necessario per addestrare: quali chip, quanti, per quanto tempo e cosa ha richiesto dalla rete elettrica.
- Hardware di addestramento
- Google TPU v3
- Chips used
- 1,024
- Chip-hours
- 737,280
- Tempo di orologio muro
- 720 hours (30 days)
- Hardware utilisation
- HFU 34.3%
- Consumo energetico
- 942.7 kW
- Compute cost
- $214,810
We trained our best model for 30 days on a TPUv3 Pod (2,048 TPU cores)
Per https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf 1.12e23 FLOPs used 1024 TPUv3s for 30 days: 30 * 24 * 3600 * 1024 * 1.23e14 = 3.2647e23 1.12e23 / 3.2647e23 HFU = 0.3431
Disponibilità
Se puoi ottenere il modello e eseguirlo sul tuo hardware, il che decide se una delle cifre della scheda grafica su questa pagina si applica.
- Pesi
- Closed — provider access only
- Accesso al modello
- Unreleased
- Codice di addestramento
- Unreleased
Come è classificato
Etichette che il dataset sorgente applica quando si monitorano modelli notevoli e quanto è fiducioso nell'entry.
- Frontier model
- Yes
- Probabilmente sopra 10²³ FLOP
- Yes
- Perché viene tracciato
- SOTA improvement
- Registrare fiducia
- Confident
- Citazioni
- 1,020
"We also propose a human evaluation metric called Sensibleness and Specificity Average (SSA)... the full version of Meena (with a filtering mechanism and tuned decoding) scores 79% SSA, 23% higher in absolute SSA than the existing chatbots we evaluated"
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- Towards a Human-like Open-Domain Chatbot
- Ultimo aggiornamento
- 25 May 2026
Cosa significano i numeri
Informazioni su questo modello
Meena was published by Google Brain, in United States of America, in January 2020. It comes out of industry.
It works in Language, and is recorded as doing text autocompletion, Chat.
Questo è un modello chiuso: i valori addestrati sono rimasti con chi li ha prodotti, e non c'è una versione locale da eseguire.
Formazione e provenienza
The training run consumed about 1.1 × 10²³ FLOP, on Google TPU v3. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Around 53,333,333,333 tokens went into training it.
Viene tracciato nel dataset sottostante per una ragione in particolare: miglioramento sOTA.
Risposte
Meena — Domande frequenti
Who created Meena?
Meena was published by Google Brain, based in United States of America, categorised as industry.
When was Meena released?
Meena was published in January 2020. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Meena used for?
Meena works in Language, and is recorded as handling text autocompletion, Chat. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
How much compute was used to train Meena?
Around 1.1 × 10²³ FLOP, on Google TPU v3. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Meena?
None. Meena is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Meena open source?
No. Meena has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Meena have?
Meena has 2.6B parameters. "We present Meena, a multi-turn open-domain chatbot trained end-to-end on data mined and filtered from public domain social media conversations. This 2.6B parameter neural network is simply trained to minimize perplexity of the next token.". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
L'altra direzione
Guardando la questione dall'altra parte?
Questa pagina inizia dal modello. Se possedete già una scheda e desiderate conoscere tutto ciò che può eseguire, inizia dall'hardware invece.