PanGu-α
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul vostro hardware a qualsiasi dimensione. È accessibile solo attraverso il suo fornitore, e nessuna scheda grafica può cambiare questo.
In registrazione
Specifiche complete
Tutto ciò che riguarda questo modello. La maggior parte delle informazioni descrive come è stato addestrato piuttosto che come viene eseguito — un contesto utile per valutare la quantità di lavoro impiegata e come si confronta con modelli realizzati su scala diversa.
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Huawei Noah's Ark Lab
- Tipo di organizzazione
- Industry
- Paese
- China
- Pubblicato
- 25 April 2021
- Autori
- Wei Zeng, Xiaozhe Ren, Teng Su, Hui Wang, Yi LiaoZhiwei WangXin JiangZhenzhang YangKaisheng WangXiaoda ZhangChen LiZiyan GongYifan YaoXinjing HuangJun WangJianfeng YuQi GuoYue YuYan ZhangJin WangHengtao TaoDasen YanZexuan YiFang PengFangqing JiangHan ZhangLingfeng DengYehong ZhangZhe LinChao ZhangShaojie ZhangMingyue GuoShanzhi GuGaojun FanYaowei WangXuefeng JinQun LiuYonghong Tian
Cosa fa
Le aree problematiche per cui è stato costruito il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Language
- Compito
- Language modeling/generation, Text summarization, Question answering
- Approach
- Self-supervised learning
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono il valore che decide se si adatta a una determinata scheda grafica.
- Parametri
- 207B
- Dati di addestramento
- tokens
- Epoche
- 1
Table 1
Column 1 in Table 4 sums to 258.5B tokens. Note however that "Epochs elapsed when training" from this table appears to conflict with other statements about training, so my confidence in the info here is somewhat low.
Addestramento computazionale
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto costato l'addestramento, non di quanto velocemente il modello finito ti risponde.
- Addestramento computazionale
- 5.1 × 10²² FLOP
- Come è stato stabilito
- Operation counting,Third-party estimation
Figure 8 digitized with https://automeris.io/wpd/?v=5_2, training the 200B model runs for 42.6B tokens. 6 * 200B * 42.6B = 5.112e22 Elsewhere, the akronomicon leaderboard indicates 538 PF-days, or 5.037e22 FLOPs. https://web.archive.org/web/20220211115721/https://lair.lighton.ai/akronomicon/ Note however, that this seems to contradict Table 4, which appears to indicate that PanGu-α 200B saw 317.569B tokens. If this were the case, training compute would be ~ 6 * 200B * 317.569B = 3.811e23
Il training run
Cosa è stato fisicamente necessario per addestrare: quali chip, quanti, per quanto tempo e cosa ha richiesto dalla rete elettrica.
- Hardware di addestramento
- Huawei Ascend 910
- Chips used
- 2,048
- Consumo energetico
- 1.3 MW
Disponibilità
Se puoi ottenere il modello e eseguirlo sul tuo hardware, il che decide se una delle cifre della scheda grafica su questa pagina si applica.
- Pesi
- Closed — provider access only
- Accesso al modello
- Unreleased
Come è classificato
Etichette che il dataset sorgente applica quando si monitorano modelli notevoli e quanto è fiducioso nell'entry.
- Registrare fiducia
- Likely
- Citazioni
- 234
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation
- Ultimo aggiornamento
- 1 December 2025
Cosa significano i numeri
Background
PanGu-α was published by Huawei Noah's Ark Lab, in China, in April 2021. It comes out of industry.
It works in Language, and is recorded as doing language modeling/generation, Text summarization, Question answering.
Questo è un modello chiuso: i valori addestrati sono rimasti con chi li ha prodotti, e non c'è una versione locale da eseguire.
Training and provenance
The training run consumed about 5.1 × 10²² FLOP, on Huawei Ascend 910. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Risposte
PanGu-α — Domande frequenti
Is PanGu-α open source?
No. PanGu-α has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does PanGu-α have?
PanGu-α has 207B parameters. Table 1. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created PanGu-α?
PanGu-α was published by Huawei Noah's Ark Lab, based in China, categorised as industry.
When was PanGu-α released?
PanGu-α was published in April 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is PanGu-α used for?
PanGu-α works in Language, and is recorded as handling language modeling/generation, Text summarization, Question answering. These are the areas it was designed around; they describe intent rather than a hard boundary.
How much compute was used to train PanGu-α?
Around 5.1 × 10²² FLOP, on Huawei Ascend 910. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run PanGu-α?
None. PanGu-α is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
L'altra direzione
Guardando la questione dall'altra parte?
Questa pagina inizia dal modello. Se possedete già una scheda e desiderate conoscere tutto ciò che può eseguire, inizia dall'hardware invece.