Pangu 3.0

Zostało opublikowane w July 2023. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.

Działa w dziedzinie Multimodal, Language, Image generation, Vision, i jest zarejestrowany jako realizujący zadanie language modeling/generation, Image generation. Model może obsługiwać kilka z każdego, więc to są obszary, dla których został zbudowany, a nie ograniczenie tego, co będzie próbował.

Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.

Nie. Jego wagi nie zostały opublikowane, więc istnieje tylko jako usługa kontrolowana przez jego właściciela.

Ma liczbę parametrów równą 100B. 100B? I think the five foundation models are all included in the same system, instead of being five different variants of Pangu, but that's not very clear. I think that's implied by "All of these capability sets will be made available to customers and partners, and will be consistent regardless of the model size". https://www.huaweicloud.com/intl/en-us/news/20230707180809498.html "Huawei Cloud Pangu models were designed to focus on the practical needs of specific industry scenarios. The newly-launched Pangu Models 3.0 use a "5+N+X" three-layer architecture. The L0 layer consists of five foundation models: NLP, CV, multimodal, prediction, and scientific computing, which provide general skills to power an endless possibility of industry-specific applications. Pangu Models 3.0 are available in different sizes: 10 billion parameters, 38 billion parameters, 71 billion parameters, and 100 billion parameters, meeting diverse customer needs and different standards on latency and response times. Brand-new capability sets are also provided, such as knowledge-based Q&A, copywriting, and code generation for the Pangu NLP model; and image generation and understanding for the Pangu multimodal model. All of these capability sets will be made available to customers and partners, and will be consistent regardless of the model size (number of parameters). The L1 layer consists of N industry-tailored models. Huawei Cloud can provide customers with industry models it has trained on open industry datasets, including Pangu models for government, finance, manufacturing, mining, and meteorology. Alternatively, customers can train their own models using their own datasets based on Huawei's L0 or L1 Pangu models. The L2 layer provides pre-trained models for specific industry scenarios and tasks, such as intelligent government hotline, intelligent branch assistant, lead compound screening, conveyor belt foreign object detection, and typhoon trajectory prediction. These models can be quickly deployed off-the-shelf.". Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.

Zostało opublikowane przez Huawei, oparty na China, organizacja sklasyfikowana jako industry.