Pangu 3.0

Es wurde veröffentlicht in July 2023. Die Fähigkeit pro Parameter hat sich erheblich verbessert, sodass ein neueres Modell derselben Größe oft die bessere Nutzung derselben Hardware darstellt.

Es funktioniert im Bereich von Multimodal, Language, Image generation, Vision, und wird als Bewältigung der Aufgabe von language modeling/generation, Image generation. Ein Modell kann mehrere von jedem tragen, daher sind dies die Bereiche, für die es gebaut wurde, anstatt eine Begrenzung dafür, was es versuchen wird.

Dieses ist ein geschlossenes Modell — seine Gewichte wurden nie veröffentlicht, sodass es zu keinem Preis heruntergeladen oder auf Ihrer eigenen Hardware ausgeführt werden kann. Es ist nur über seinen Anbieter erreichbar.

Nein. Seine Gewichte wurden nicht veröffentlicht, daher existiert es nur als ein Dienst, der von seinem Eigentümer kontrolliert wird.

Es hat eine Parameteranzahl von 100B. 100B? I think the five foundation models are all included in the same system, instead of being five different variants of Pangu, but that's not very clear. I think that's implied by "All of these capability sets will be made available to customers and partners, and will be consistent regardless of the model size". https://www.huaweicloud.com/intl/en-us/news/20230707180809498.html "Huawei Cloud Pangu models were designed to focus on the practical needs of specific industry scenarios. The newly-launched Pangu Models 3.0 use a "5+N+X" three-layer architecture. The L0 layer consists of five foundation models: NLP, CV, multimodal, prediction, and scientific computing, which provide general skills to power an endless possibility of industry-specific applications. Pangu Models 3.0 are available in different sizes: 10 billion parameters, 38 billion parameters, 71 billion parameters, and 100 billion parameters, meeting diverse customer needs and different standards on latency and response times. Brand-new capability sets are also provided, such as knowledge-based Q&A, copywriting, and code generation for the Pangu NLP model; and image generation and understanding for the Pangu multimodal model. All of these capability sets will be made available to customers and partners, and will be consistent regardless of the model size (number of parameters). The L1 layer consists of N industry-tailored models. Huawei Cloud can provide customers with industry models it has trained on open industry datasets, including Pangu models for government, finance, manufacturing, mining, and meteorology. Alternatively, customers can train their own models using their own datasets based on Huawei's L0 or L1 Pangu models. The L2 layer provides pre-trained models for specific industry scenarios and tasks, such as intelligent government hotline, intelligent branch assistant, lead compound screening, conveyor belt foreign object detection, and typhoon trajectory prediction. These models can be quickly deployed off-the-shelf.". Diese Zahl ist die Gesamtsumme, und sie bestimmt, wie viel MEMORY das MODEL benötigt – ungefähr ein halbes Gigabyte pro Milliarde bei der Kompression, die die meisten Menschen verwenden.

Es wurde veröffentlicht von Huawei, basiert auf China, eine als kategorisierte Organisation industry.