Pangu Ultra
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Huawei
- Szervezet típusa
- Industry
- Ország
- China
- Közölt
- 10 April 2025
- Szerzők
- Yichun Yin, Wenyong Huang, Kaikai Song, Yehui Tang, Xueyu Wu, Wei Guo, Peng Guo, Yaoyuan Wang, Xiaojun Meng, Yasheng Wang, Dong Li, Can Chen, Dandan Tu, Yin Li, Fisher Yu, Ruiming Tang, Yunhe Wang, Baojun Wang, Bin Wang, Bo Wang, Boxiao Liu, Changzheng Zhang, Duyu Tang, Fei Mi, Hui Jin, Jiansheng Wei, Jiarui Qin, Jinpeng Li, Jun Zhao, Liqun Deng, Lin Li, Minghui Xu, Naifu Zhang, Nianzu Zheng, Qian…
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Code generation, Language modeling/generation
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 135B
- Képzési adatok
- 13,200,000,000,000 tokens
- Tételméret
- 8,388,608
13.2 trillion tokens
2048 * 4096
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 1.1 × 10²⁵ FLOP
- Hogyan jött létre
- Operation counting,Comparison with other models
When compared to Llama 3.1 405B, Pangu Ultra achieves better scores on most of the challenging benchmarks, while utilizing only about 29% of the training FLOPs required by Llama 405B. Compute = 6 FLOP/token/param * 135e9 params *13.2e12 tokens = 1.069200e+25 FLOP This is consistent with 29% of Llama 405B's compute: 3.8e25*0.29=1.1e25.
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- Huawei Ascend 910B
- Használt chipek
- 8,192
- Hardverhasználat
- MFU 52.0%
- Teljesítményfogyasztás
- 6.4 MW
"Through careful tuning of load balancing across PP and VPP stages, we are able to achieve approximately 43% MFU on an 8,192 NPU cluster as a baseline." ... "Overall, we achieve over 52% Model FLOPs Utilization (MFU) when training Pangu Ultra on 8,192 Ascend NPUs."
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Hosted access (no API)
- Képzés kód
- Unreleased
"Our model and system will be available for our commercial customers"
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Valószínűleg 10²³ FLOP felett
- Yes
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 16
A closer examination reveals that Pangu Ultra excels on Chinese benchmarks, surpassing both Qwen 2.5 72B and DeepSeek V3, the current best-performing Chinese model. In addition, when compared to Llama 3.1 405B, Pangu Ultra achieves better scores on most of the challenging benchmarks, while utilizing only about 29% of the training FLOPs required by Llama 405B. These results suggest the effectiveness of our model architecture and the high quality of our training data. Table 3, Tabke 4: seems that…
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Pangu Ultra: Pushing the Limits of Dense Large Language Models on Ascend NPUs
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Mit jelent ez a modell
Pangu Ultra ki lett adva által Huawei, az országban rögzítve mint China, alatt April 2025. Egy olyan szervezetből származik, amelyet kategorizálnak mint industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása code generation, Language modeling/generation.
Súlyait soha nem tették közzé, így csak a szolgáltatóján keresztül érhető el. Nincs grafikus kártya, ami ezt megváltoztatná.
Hogyan lett betanítva
A betanításhoz körülbelül egy számítási költségvetés kellett 1.1 × 10²⁵ FLOP, hardveren rögzítve Huawei Ascend 910B. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A képzés körülbelül egy korpuszt fogyasztott 13,200,000,000,000 szöveg tokenjei
Az oka, hogy egyáltalán megjelenik ebben a katalógusban: sOTA improvement.
Válaszok
Pangu Ultra — gyakori kérdések
Pangu Ultra— Ki készítette ezt?
Kiadta Huawei, alapján China, egy szervezet, amelyet kategorizáltak mint industry.
Pangu Ultra— Mikor adták ki?
Kibocsátották a April 2025.
Pangu Ultra— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot code generation, Language modeling/generation. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
Pangu Ultra— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 1.1 × 10²⁵ FLOP, hardveren rögzítve Huawei Ascend 910B. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
Pangu Ultra— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
Pangu Ultra— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
Pangu Ultra— Hány paramétere van?
Paraméterszáma 135B. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..