DreamLLM
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul vostro hardware a qualsiasi dimensione. È accessibile solo attraverso il suo fornitore, e nessuna scheda grafica può cambiare questo.
In registrazione
Specifiche complete
Tutto ciò che riguarda questo modello. La maggior parte delle informazioni descrive come è stato addestrato piuttosto che come viene eseguito — un contesto utile per valutare la quantità di lavoro impiegata e come si confronta con modelli realizzati su scala diversa.
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Xi’an Jiaotong University,Megvii Inc,Tsinghua University,Huazhong University of Science and Technology
- Tipo di organizzazione
- Academia,Industry,Academia,Academia
- Paese
- China
- Pubblicato
- 20 September 2023
- Autori
- Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi
Cosa fa
Le aree problematiche per cui è stato costruito il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Multimodal, Language, Vision, Image generation
- Compito
- Language modeling/generation, Vision-language generation, Image generation
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono il valore che decide se si adatta a una determinata scheda grafica.
- Parametri
- 7B
- Dati di addestramento
- 70,369,280,000 tokens
- Epoche
- 1
7B
from Table 13: 30M pairs image and text, 4M interleaved image-text documents, and 120k instruction examples
Addestramento computazionale
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto costato l'addestramento, non di quanto velocemente il modello finito ti risponde.
- Addestramento computazionale
- 7.5 × 10²⁰ FLOP
- Come è stato stabilito
- Hardware
Table 13: 128xA800 GPU for (6+10+1.5) hours flops = (128) * ( 312 * 10**12) * (17.5 * 3600) * (0.3) = 7.5e20 (num gpu) * (peak flops) * (time in seconds) * (assumed utilization rate)
Il training run
Cosa è stato fisicamente necessario per addestrare: quali chip, quanti, per quanto tempo e cosa ha richiesto dalla rete elettrica.
- Hardware di addestramento
- NVIDIA A800 PCIe 40 GB
- Chips used
- 128
- Chip-hours
- 2,240
- Tempo di orologio muro
- 18 hours
- Consumo energetico
- 63.6 kW
from Table 11: (6+10+1.5) hours
Come è classificato
Etichette che il dataset sorgente applica quando si monitorano modelli notevoli e quanto è fiducioso nell'entry.
- Registrare fiducia
- Confident
- Citations
- 318
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- DreamLLM: Synergistic Multimodal Comprehension and Creation
- Ultimo aggiornamento
- 25 May 2026
Cosa significano i numeri
Informazioni su questo modello
DreamLLM was published by Xi’an Jiaotong University,Megvii Inc,Tsinghua University,Huazhong University of Science and Technology, in China, in September 2023. It comes out of academia,Industry,Academia,Academia.
It works in Multimodal, Language, Vision, Image generation, and is recorded as doing language modeling/generation, Vision-language generation, Image generation.
Questo è un modello chiuso: i valori addestrati sono rimasti con chi li ha prodotti, e non c'è una versione locale da eseguire.
Cosa ci è voluto per costruirlo
Producing it required around 7.5 × 10²⁰ FLOP of arithmetic, on NVIDIA A800 PCIe 40 GB, which is a statement about the training budget rather than about inference.
Around 70,369,280,000 tokens went into training it.
Risposte
DreamLLM — Domande frequenti
Is DreamLLM open source?
The licensing for DreamLLM was never recorded in our source data. We treat unstated licensing as closed, because an unrecorded licence is not one to rely on.
How many parameters does DreamLLM have?
DreamLLM has 7B parameters. 7B. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created DreamLLM?
DreamLLM was published by Xi’an Jiaotong University,Megvii Inc,Tsinghua University,Huazhong University of Science and Technology, based in China, categorised as academia,Industry,Academia,Academia.
When was DreamLLM released?
DreamLLM was published in September 2023. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is DreamLLM used for?
DreamLLM works in Multimodal, Language, Vision, Image generation, and is recorded as handling language modeling/generation, Vision-language generation, Image generation. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
How much compute was used to train DreamLLM?
Around 7.5 × 10²⁰ FLOP, on NVIDIA A800 PCIe 40 GB. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run DreamLLM?
Nessuno. DreamLLM è un modello chiuso — i suoi pesi non sono mai stati pubblicati, quindi non può essere scaricato o eseguito sul tuo hardware a nessun prezzo. È raggiungibile solo tramite il suo fornitore.
L'altra direzione
Guardando la questione dall'altra parte?
Questa pagina inizia dal modello. Se possedete già una scheda e desiderate conoscere tutto ciò che può eseguire, inizia dall'hardware invece.