UniDiffuser (多模态大模型)

Otevřít váhy ShengShu,Tsinghua University,Beijing Academy of Artificial Intelligence / BAAI May 2023

Žádný odhad

Žádné hardwarové požadavky pro tento model

Hmotnosti tohoto modelu jsou otevřené, ale žádný počet parametrů pro něj nebyl zveřejněn. Každé číslo týkající se paměti a rychlosti vychází z této hodnoty, takže bychom raději nic neukázali, než fabrikaovaný odhad..

Na záznamu

Plná specifikace

Všechno o tomto modelu v záznamech. Většina z toho popisuje, jak byl trénován, spíše než jak funguje — užitečný kontext pro posouzení, kolik práce do něj bylo vynaloženo, a jak se srovnává s modely postavenými na jiné úrovni..

Původ

Kdo vytvořil tento model, kde a kdy byl publikován.

Organizace
ShengShu,Tsinghua University,Beijing Academy of Artificial Intelligence / BAAI
Typ organizace
Industry,Academia,Academia
Země
China
Publikováno
30 May 2023
Autoři
Fan Bao, Shen Nie, Kaiwen Xue, Chongxuan Li, Shi Pu, Yaole Wang, Gang Yue, Yue Cao, Hang Su, Jun Zhu

Co to dělá

Problémové oblasti, pro které byl model vytvořen. Model může obsahovat několik z každého.

Doména
Image generation
Úkol
Text-to-image, Image captioning, Image generation, Image-to-image

Velikost

Jak velký je model a kolik dat byl trénován. Parametry jsou číslo, které rozhoduje, zda se vejde na danou grafickou kartu.

Výcviková data
tokens

"The training is multiple-staged following Stable Diffusion (Rombach et al., 2022). In the first stage, we train 250K steps at 256×256 resolution on laion2B-en with a batch size of 11264 and 5K warm-up steps. In the second stage, we fine-tune the model with 200K steps at 512×512 resolution on laion-high-resolution with a batch size of 2112 and 5K warm-up steps. In the last stage, we resume from the last checkpoint of the second stage (including both weights of the model and states of the optimiz…

Výpočty pro trénink

Aritmetika prováděná k trénování modelu, měřená v operacích s plovoucí desetinnou čárkou. Je to měřítko toho, kolik stál tréninkový běh, ne jak rychle hotový model na vás odpovídá.

Výpočty pro trénink
2 × 10²² FLOP

312000000000000 FLOP/GPU/sec * 672 hours * 3600 sec / hour * 88 GPUs * 0.3 [assumed utilization] = 1.992646656e+22 FLOP

Jak bylo ustanoveno
Hardware

Tréninkový běh

Co fyzicky vyžadovalo trénování: které čipy, kolik, jak dlouho a co to vyžadovalo ze zásuvky.

Tréninkový hardware
NVIDIA A100 SXM4 80 GB
Používané čipy
88
Doba reálného času
672 hours (28 days)

"The training takes around 28 days on 88 A100 (80GB) GPUs" 28 days = 672 hours

Příkon
70.1 kW

Dostupnost

Zda můžete získat model a spustit ho na svém vlastním hardwaru, což rozhoduje o tom, zda se některé z čísel grafických karet na této stránce vztahují.

Hmotnosti
Open — downloadable
Přístup k modelu
Open weights (unrestricted)
Tréninkový kód
Unreleased

AGPL-3.0 https://github.com/thu-ml/unidiffuser https://huggingface.co/thu-ml/unidiffuser-v1

Hugging Face
thu-ml

Jak je to klasifikováno

Štítky aplikačních datových sad, které se používají při sledování významných modelů, a jak jistý je ve záznamu.

Záznam důvěry
Confident

Žrovy

Odkud tento záznam pochází a kdy byl naposledy zkontrolován.

Reference
One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale
Nap poslední aktualizace
11 February 2026

Co čísla znamenají

Odkud to přišlo

UniDiffuser (多模态大模型) byl zveřejněn ShengShu,Tsinghua University,Beijing Academy of Artificial Intelligence / BAAI, v zemi zaznamenané jako China, během May 2023. Kategorie, do které vydavatel spadá, je industry,Academia,Academia.

funguje v oblasti Image generation, a je zaznamenán jako vykonávající úkol text-to-image, Image captioning, Image generation, Image-to-image.

Otevřené váhy jsou to, co dává této stránce místo v kalkulátoru spíše než pouze v katalogu: je to model, který můžeš skutečně držet. Na Hugging Face je publikováno pod organizací thu-ml.

Trénink a původ

Trenovací běh spotřeboval asi 2 × 10²² FLOP, na hardwaru zaznamenáno jako NVIDIA A100 SXM4 80 GB. Tato částka měří, kolik stál výroba modelu, a nemá žádný vliv na to, jak rychle odpovídá.

Odpovědi

UniDiffuser (多模态大模型) — běžné otázky

01

UniDiffuser (多模态大模型)— Jakou GPU potřebuji k jejímu spuštění?

Nemůžeme říct. Má otevřené váhy, ale žádný počet parametrů pro něj nebyl zveřejněn a každý výpočet paměti a rychlosti začíná od toho čísla. Raději bychom ukázali nic než vykonstruovaný odhad.

02

UniDiffuser (多模态大模型)— Je to OPEN SOURCE?

Jeho váhy jsou zveřejněny, takže si je lze stáhnout a spustit na vlastním hardwaru. Všimněte si, že open WEIGHTS není totéž co open SOURCE v plném smyslu — neříká nic o tréninkových datech, tréninkovém kódu nebo obchodních podmínkách připojených.

03

UniDiffuser (多模态大模型)— kolik má parametrů?

Pro něj nebyl zveřejněn žádný počet parametrů, a proto se na této stránce neobjevují žádné údaje o paměti nebo rychlosti.

04

UniDiffuser (多模态大模型)— Kdo to vytvořil?

Bylo to publikováno společností ShengShu,Tsinghua University,Beijing Academy of Artificial Intelligence / BAAI, zakládající se na China, organizace zařazená jako industry,Academia,Academia.

05

UniDiffuser (多模态大模型)— Kdy byl vydán?

Bylo to zveřejněno v May 2023. Schopnost na parametr se od té doby výrazně zlepšila, takže novější model stejné velikosti je často lepším využitím stejného hardwaru.

06

UniDiffuser (多模态大模型)— K čemu se to používá?

funguje v oblasti Image generation, a je zaznamenáno jako zpracovávající úkol text-to-image, Image captioning, Image generation, Image-to-image. Model může nést několik z každého, takže to jsou oblasti, pro které byl navržen, spíše než omezení toho, co se pokusí.

07

UniDiffuser (多模态大模型)— kde si to mohu stáhnout?

Jeho váhy jsou publikovány na Hugging Face, pod organizací thu-ml. Na našem webu nenabízíme soubory modelů — tento web vypočítává, jaký hardware je potřebný pro jejich spuštění.

08

UniDiffuser (多模态大模型)— kolik výpočetního výkonu bylo použito k jeho trénování?

Trénink spotřeboval kolem 2 × 10²² FLOP, na hardwaru zaznamenáno jako NVIDIA A100 SXM4 80 GB. To měří, co stálo výrobu modelu, a neříká nic o tom, jak rychle odpovídá po natrénování — rychlost inferencí závisí na šířce pásma paměti, nikoli na rozpočtu na trénink.

Zdroj

Původní publikace

Nahrávka naposledy aktualizována 11 February 2026

Druhý směr

Díváte se na to z druhé strany?

Tato stránka začíná od modelu. Pokud již vlastníte kartu a chcete vědět všechno, co bude spuštěno, začněte raději od hardwaru.