Pangu Ultra MoE
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Huawei
- Szervezet típusa
- Industry
- Ország
- China
- Közölt
- 7 May 2025
- Szerzők
- Yehui Tang, Yichun Yin, Yaoyuan Wang, Hang Zhou, Yu Pan, Wei Guo, Ziyang Zhang, Miao Rang, Fangcheng Liu, Naifu Zhang, Binghan Li, Yonghan Dong, Xiaojun Meng, Yasheng Wang, Dong Li, Yin Li, Dandan Tu, Can Chen, Youliang Yan, Fisher Yu, Ruiming Tang, Yunhe Wang, Botian Huang, Bo Wang, Boxiao Liu, Changzheng Zhang, Da Kuang, Fei Liu, Gang Huang, Jiansheng Wei, Jiarui Qin, Jie Ran, Jinpeng Li, Jun Zh…
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling/generation, Question answering
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 718B
- Képzési adatok
- tokens
a sparse LLM with 718 billion parameters 39B activated parameters
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 3.1 × 10²⁴ FLOP
- Hogyan jött létre
- Operation counting
Speculatively assuming they trained MoE model on the same amount of tokens as Pangu Ultra (13,2 T): 6 FLOP / parameter / token * 39 * 10^9 activated parameters * 13,2 * 10^12 tokens = 3.0888e+24 FLOP
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- Huawei Ascend 910B
- Használt chipek
- 6,000
- Hardverhasználat
- MFU 30.0%
- Teljesítményfogyasztás
- 4.7 MW
"Taking advantage of our model selection strategy and parallel computing system optimization, when training Pangu Ultra MoE, with performance comparable to DeepSeek R1 [10], we achieve a Model Flops Utilization (MFU) of 30.0% and Tokens Per Second (TPS) of 1.46M on 6K Ascend NPUs, compared to the baseline MFU of 18.9% and TPS of 0.61M on 4K Ascend NPUs."
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Hosted access (no API)
- Képzés kód
- Unreleased
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Valószínűleg 10²³ FLOP felett
- Yes
- Nyilvántartási bizalom
- Speculative
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Pangu Ultra MoE: How to Train Your Big MoE on Ascend NPUs
- Utoljára frissítve
- 28 November 2025
Mit jelentenek a számok
Mit jelent ez a modell
Pangu Ultra MoE ki lett adva által Huawei, az országban rögzítve mint China, alatt May 2025. A kiadó kategóriája alá tartozik industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling/generation, Question answering.
Súlyait soha nem tették közzé, így csak a szolgáltatóján keresztül érhető el. Nincs grafikus kártya, ami ezt megváltoztatná.
Hogyan lett betanítva
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 3.1 × 10²⁴ FLOP, hardveren rögzítve Huawei Ascend 910B. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Válaszok
Pangu Ultra MoE — gyakori kérdések
Pangu Ultra MoE— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
Pangu Ultra MoE— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
Pangu Ultra MoE— Hány paramétere van?
Paraméterszáma 718B. a sparse LLM with 718 billion parameters 39B activated parameters. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
Pangu Ultra MoE— Ki készítette ezt?
Kiadta Huawei, alapján China, egy szervezet, amelyet kategorizáltak mint industry.
Pangu Ultra MoE— Mikor adták ki?
Kibocsátották a May 2025.
Pangu Ultra MoE— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Question answering. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
Pangu Ultra MoE— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 3.1 × 10²⁴ FLOP, hardveren rögzítve Huawei Ascend 910B. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..