PanGu-α
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Huawei Noah's Ark Lab
- Szervezet típusa
- Industry
- Ország
- China
- Közölt
- 25 April 2021
- Szerzők
- Wei Zeng, Xiaozhe Ren, Teng Su, Hui Wang, Yi LiaoZhiwei WangXin JiangZhenzhang YangKaisheng WangXiaoda ZhangChen LiZiyan GongYifan YaoXinjing HuangJun WangJianfeng YuQi GuoYue YuYan ZhangJin WangHengtao TaoDasen YanZexuan YiFang PengFangqing JiangHan ZhangLingfeng DengYehong ZhangZhe LinChao ZhangShaojie ZhangMingyue GuoShanzhi GuGaojun FanYaowei WangXuefeng JinQun LiuYonghong Tian
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling/generation, Text summarization, Question answering
- Megközelítés
- Self-supervised learning
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 207B
- Képzési adatok
- tokens
- Epochok
- 1
Table 1
Column 1 in Table 4 sums to 258.5B tokens. Note however that "Epochs elapsed when training" from this table appears to conflict with other statements about training, so my confidence in the info here is somewhat low.
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 5.1 × 10²² FLOP
- Hogyan jött létre
- Operation counting,Third-party estimation
Figure 8 digitized with https://automeris.io/wpd/?v=5_2, training the 200B model runs for 42.6B tokens. 6 * 200B * 42.6B = 5.112e22 Elsewhere, the akronomicon leaderboard indicates 538 PF-days, or 5.037e22 FLOPs. https://web.archive.org/web/20220211115721/https://lair.lighton.ai/akronomicon/ Note however, that this seems to contradict Table 4, which appears to indicate that PanGu-α 200B saw 317.569B tokens. If this were the case, training compute would be ~ 6 * 200B * 317.569B = 3.811e23
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- Huawei Ascend 910
- Használt chipek
- 2,048
- Teljesítményfogyasztás
- 1.3 MW
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Nyilvántartási bizalom
- Likely
- Hivatkozások
- 234
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation
- Utoljára frissítve
- 1 December 2025
Mit jelentenek a számok
Háttér
PanGu-α ki lett adva által Huawei Noah's Ark Lab, az országban rögzítve mint China, alatt April 2021. Egy olyan szervezetből származik, amelyet kategorizálnak mint industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling/generation, Text summarization, Question answering.
Ez egy zárt modell: a betanított értékek azoknál maradtak, akik előállították őket, és nincs helyi verzió a futtatáshoz.
Képzés és származás
A képzés futás körülbelül 5.1 × 10²² FLOP, hardveren rögzítve Huawei Ascend 910. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Válaszok
PanGu-α — gyakori kérdések
PanGu-α— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
PanGu-α— Hány paramétere van?
Paraméterszáma 207B. Table 1. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
PanGu-α— Ki készítette ezt?
Kiadta Huawei Noah's Ark Lab, alapján China, egy szervezet, amelyet kategorizáltak mint industry.
PanGu-α— Mikor adták ki?
Kibocsátották a April 2021. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
PanGu-α— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Text summarization, Question answering. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
PanGu-α— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 5.1 × 10²² FLOP, hardveren rögzítve Huawei Ascend 910. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
PanGu-α— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..