M6-10T
Nessuna stima
Nessun requisito hardware per questo modello
I pesi per questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul proprio hardware di alcuna dimensione. È accessibile solo tramite il suo fornitore, e nessuna scheda grafica cambia questo..
In registrazione
Specifiche complete
Tutto registrato per questo modello. La maggior parte descrive come è stato addestrato piuttosto che come funziona — contesto utile per valutare quanto lavoro ci sia stato dietro e come si confronta con modelli costruiti su scala differente..
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Alibaba
- Tipo di organizzazione
- Industry
- Paese
- China
- Pubblicato
- 8 October 2021
- Autori
- Junyang Lin, An Yang, Jinze Bai, Chang Zhou, Le Jiang, Xianyan Jia, Ang Wang, Jie Zhang, Yong Li, Wei Lin, Jingren Zhou, Hongxia Yang
Cosa fa
Le aree problematiche per cui il modello è stato creato. Un modello può gestire diversi di ciascuno.
- Domini
- Multimodal, Language, Vision
- Spazio
- Language modeling/generation
- Approccio
- Self-supervised learning
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono la cifra che decide se si adatta a una data scheda grafica.
- parametri
- 10T
- Dati di addestramento
- tokens
"We demonstrate a practice of pretraining unprecedented 10-trillion-parameter model, an order of magnitude larger than the state-of-the-art, on solely 512 GPUs within 10 days"
"We conduct experiments for pretraining and finetuning to analyze model competence in upstream and downstream tasks. Following the classical data setup for pretraining and finetuning, we pretrain the model on BookCorpus [52] and English Wikipedia [9], which are corpora with around 16GB of plain texts." I used http://extraconversion.com/data-storage/gigabits/gigabits-to-words.html for the conversion to number of words
Calcolo di addestramento
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto è costato l'addestramento, non di quanto velocemente il modello finito ti risponde.
- Calcolo di addestramento
- 5.5 × 10²¹ FLOP
- Come è stato stabilito
- Hardware
512 GPUs in 10 days - using NVIDIA V100 GPUs Using the NVIDIA V100 Specifications this works out to be: 0.30 * 125E12 * 512 * 10 * 86400 = 1.66E22 (Assuming 30% utilisation, and 125 TFLOPS)
Disponibilità
Se puoi ottenere il modello e farlo girare sul tuo hardware, il che decide se alcune delle figure della scheda grafica su questa pagina si applicano.
- Pesi
- Closed — provider access only
- Accesso al modello
- Unreleased
- Codice di addestramento
- Unreleased
"This work is generally reproducible. Following the description in Section 3, researchers can easily implement the training strategy on the codebases for pretraining, including Huggingface Transformer 1, Fairseq 2."
Come è classificato
Etichette sui dataset di origine applicate per il tracciamento dei modelli notevoli e quanto è fiduciosa nell'entry.
- Modello/modelli non si adatta / non si adatterà GPU VRAM. Tight = barely runnable, comodo = runs easily with headroom.
- Confident
- Modello/modelli possono GPU eseguire. Non si adatta / non si adatterà. Aderente = barely runnable, confortevole = runs easily with headroom.
- 47
Modello/modelli GPU/AI che può eseguire. Non si adatta / non starà. Stretto = appena eseguibile, comodo = esegue facilmente con margine.
Dove è stato registrato questo record e quando è stato controllato l'ultima volta.
- Modello/modelli GPU può eseguire? Non si adatta / non si adatterà. Limitato = difficilmente eseguibile, comodo = esegue facilmente con margine.
- M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining
- Ultimo aggiornamento
- 28 November 2025
Cosa significano i numeri
Sfondo
M6-10T was published by Alibaba, in China, in October 2021. It comes out of industry.
It works in Multimodal, Language, Vision, and is recorded as doing language modeling/generation.
I suoi pesi non sono mai stati pubblicati, quindi può essere raggiunto solo tramite il suo fornitore. Nessuna scheda grafica può cambiare questo.
Cosa è stato necessario per costruirlo
The training run consumed about 5.5 × 10²¹ FLOP. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Modeli/modelli sempre significa modelli AI. Esegui/Esplora significa eseguire un modello AI. Non si adatta / non si adatterà significa che il modello AI non si adatta alla VRAM della GPU. Stretto = appena eseguibile, comodo = funziona facilmente con margine. Termini tecnici come GPU, AI, TPS, VRAM, CUDA, Tensor, Inference, Quantization, LoRA, GGUF, FP16, INT4, INT8 rimangono in inglese. GPU, AI, TPS, VRAM, CUDA devono sempre essere in maiuscolo. Se viene chiesto di tradurre il nome di una lingua (ad es. spagnolo, inglese, lingua), tradurre la parola correttamente. SOLO output la traduzione pura in italiano. Nessun commento, nessuna domanda, nient'altro. Se vuoto rispondi con un singolo spazio: Risposte.
M6-10T — modello/modelli può GPU eseguire. non si adatta / non si adatterà. stretto = appena eseguibile, confortevole = esegue facilmente con margine.
How many parameters does M6-10T have?
M6-10T has 10T parameters. "We demonstrate a practice of pretraining unprecedented 10-trillion-parameter model, an order of magnitude larger than the state-of-the-art, on solely 512 GPUs within 10 days". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created M6-10T?
M6-10T was published by Alibaba, based in China, categorised as industry.
When was M6-10T released?
M6-10T was published in October 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is M6-10T used for?
M6-10T works in Multimodal, Language, Vision, and is recorded as handling language modeling/generation. These are the areas it was designed around; they describe intent rather than a hard boundary.
How much compute was used to train M6-10T?
Around 5.5 × 10²¹ FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run M6-10T?
None. M6-10T is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is M6-10T open source?
No. M6-10T has not had its weights published, so it exists only as a service controlled by its owner.
L'altra direzione
Guardandolo dall'altro lato?
Questa pagina inizia dal modello. Se possiedi già una scheda e vuoi sapere tutto ciò che eseguirà, inizia dall'hardware invece.