DreamLLM
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Xi’an Jiaotong University,Megvii Inc,Tsinghua University,Huazhong University of Science and Technology
- Szervezet típusa
- Academia,Industry,Academia,Academia
- Ország
- China
- Közölt
- 20 September 2023
- Szerzők
- Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Multimodal, Language, Vision, Image generation
- Feladat
- Language modeling/generation, Vision-language generation, Image generation
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 7B
- Képzési adatok
- 70,369,280,000 tokens
- Epochok
- 1
7B
from Table 13: 30M pairs image and text, 4M interleaved image-text documents, and 120k instruction examples
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 7.5 × 10²⁰ FLOP
- Hogyan jött létre
- Hardware
Table 13: 128xA800 GPU for (6+10+1.5) hours flops = (128) * ( 312 * 10**12) * (17.5 * 3600) * (0.3) = 7.5e20 (num gpu) * (peak flops) * (time in seconds) * (assumed utilization rate)
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA A800 PCIe 40 GB
- Használt chipek
- 128
- Chip-óra
- 2,240
- Fali óra idő
- 18 hours
- Teljesítményfogyasztás
- 63.6 kW
from Table 11: (6+10+1.5) hours
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 318
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- DreamLLM: Synergistic Multimodal Comprehension and Creation
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Erről a modelről
DreamLLM ki lett adva által Xi’an Jiaotong University,Megvii Inc,Tsinghua University,Huazhong University of Science and Technology, az országban rögzítve mint China, alatt September 2023. Egy olyan szervezetből származik, amelyet kategorizálnak mint academia,Industry,Academia,Academia.
Működik a területen a Multimodal, Language, Vision, Image generation, és úgy van rögzítve, mint a feladat végrehajtása language modeling/generation, Vision-language generation, Image generation.
Ez egy zárt modell: a betanított értékek azoknál maradtak, akik előállították őket, és nincs helyi verzió a futtatáshoz.
Mi került a felépítésébe
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 7.5 × 10²⁰ FLOP, hardveren rögzítve NVIDIA A800 PCIe 40 GB. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A képzés körülbelül egy korpuszt fogyasztott 70,369,280,000 szöveg tokenjei
Válaszok
DreamLLM — gyakori kérdések
DreamLLM— Nyílt forráskódú?
A licencálás sosem volt rögzítve a forrásadatainkban. Az állandóan nem megadott licencet zártnak tekintjük, mert a nem rögzített licenc nem egy megbízható.
DreamLLM— Hány paramétere van?
Paraméterszáma 7B. 7B. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
DreamLLM— Ki készítette ezt?
Kiadta Xi’an Jiaotong University,Megvii Inc,Tsinghua University,Huazhong University of Science and Technology, alapján China, egy szervezet, amelyet kategorizáltak mint academia,Industry,Academia,Academia.
DreamLLM— Mikor adták ki?
Kibocsátották a September 2023. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
DreamLLM— Mire használják?
Működik a területen a Multimodal, Language, Vision, Image generation, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Vision-language generation, Image generation. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
DreamLLM— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 7.5 × 10²⁰ FLOP, hardveren rögzítve NVIDIA A800 PCIe 40 GB. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
DreamLLM— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..