BigSSL
Brak oszacowania
Brak wymagań sprzętowych dla tego modelu
Wagi dla tego modelu nie zostały opublikowane, więc nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny tylko za pośrednictwem swojego dostawcy, a zmiana karty graficznej tego nie zmienia..
Na nagranie
Pełna specyfikacja
Wszystko na rekord dla tego modelu. Większość z tego opisuje, jak był trenowany, a nie jak działa — użyteczny kontekst do oceny, ile pracy włożono w to, i jak wypada w porównaniu z modelami budowanymi w innym skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- Google,Apple
- Typ organizacji
- Industry,Industry
- Kraj
- United States of America
- Opublikowany
- 10 January 2021
- Autorzy
- Yu Zhang, Daniel S. Park, Wei Han,James Qin, Anmol Gulati, Joel Shor, Aren Jansen, Yuanzhong Xu, Yanping Huang, Shibo Wang, Zongwei Zhou, Bo Li, Min Ma, William Chan, Jiahui Yu, Yongqiang Wang, Liangliang Cao, Khe Chai Sim, Bhuvana Ramabhadran, Tara N. Sainath, Françoise Beaufays, Zhifeng Chen, Quoc V. Le, Chung-Cheng Chiu, Ruoming Pang and Yonghui Wu
Co to robi
Obszary problemowe, dla których stworzono model. Model może mieć kilka z każdego.
- Domena
- Speech
- Zadanie
- Speech recognition (ASR), Audio classification
Rozmiar
Jak duży jest model i na ile danych był trenowany. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- parametry
- 8B
- Dane treningowe
- 100,530,000,000 tokens
"... we study the utility of large models, with the parameter count ranging from 600M to 8B..."
Sum all values in Table VII, and add 34k for English VAD, and 926k for English Youtube = 3116k hours Note this involves significant self-training: "Noisy student training (NST) [23], [41] is a self-training method where a teacher model generates pseudo-labels for a large unlabeled dataset, which is in turn used to train a student model with augmentation." 1 hour ~ 13,680 words 13680 * 3116000 = 42626880000
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim sprzęcie, co decyduje o tym, czy którakolwiek z cyfr karty graficznej na tej stronie ma zastosowanie.
- Wagi
- Closed — provider access only
- Dostęp do modelu
- Unreleased
- Kod treningowy
- Unreleased
Jak jest klasyfikowane
Etykiety, które źródłowy zbiór danych stosuje podczas śledzenia znaczących modeli oraz jak pewny jest tego wpisu.
- Dlaczego to jest śledzone
- SOTA improvement
- Cytaty
- 204
Figure 1 "In particular, on an ASR task with 34k hours of labeled data, by fine-tuning an 8 billion parameter pre-trained Conformer model we can match state-of-the-art (SoTA) performance with only 3% of the training data and significantly improve SoTA with the full training set"
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- BigSSL: Exploring the Frontier of Large-Scale Semi-Supervised Learning for Automatic Speech Recognition
- Ostatnio zaktualizowane
- 25 May 2026
Co oznaczają liczby
O tym modelu
BigSSL został opublikowany przez Google,Apple, w kraju zapisanym jako United States of America, podczas January 2021. Organizacja publikująca jest klasyfikowana jako industry,Industry.
Działa w dziedzinie Speech, i jest zapisany jako wykonujący zadanie speech recognition (ASR), Audio classification.
To jest model zamknięty: wytrenowane wartości pozostały u tego, kto je wyprodukował, a lokalna wersja do uruchomienia nie istnieje.
Jak to zostało wytrenowane
Trening zużył korpus około 100,530,000,000 Tokeny tekstu.
Powód, dla którego w ogóle pojawia się w tym katalogu: sOTA improvement.
Odpowiedzi
BigSSL — częste pytania
BigSSL— Jaką GPU potrzebuję, aby ją uruchomić?
Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.
BigSSL— czy jest open weight?
Nie. Jego wagi nie zostały opublikowane, więc istnieje tylko jako usługa kontrolowana przez jego właściciela.
BigSSL— ile ma parametrów?
Ma liczbę parametrów równą 8B. "... we study the utility of large models, with the parameter count ranging from 600M to 8B...". Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.
BigSSL— kto to stworzył?
Zostało opublikowane przez Google,Apple, oparty na United States of America, organizacja sklasyfikowana jako industry,Industry.
BigSSL— kiedy to zostało wydane?
Zostało opublikowane w January 2021. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.
BigSSL— do czego to służy?
Działa w dziedzinie Speech, i jest zarejestrowany jako realizujący zadanie speech recognition (ASR), Audio classification. Model może obsługiwać kilka z każdego, więc to są obszary, dla których został zbudowany, a nie ograniczenie tego, co będzie próbował.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko będzie działać., Zacznij od sprzętu zamiast.