RNN for 1B words
Brak oszacowania
Brak wymagań sprzętowych dla tego modelu
Wagi dla tego modelu nie zostały opublikowane, więc nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny tylko za pośrednictwem swojego dostawcy, a zmiana karty graficznej tego nie zmienia..
Na nagranie
Pełna specyfikacja
Wszystko na rekord dla tego modelu. Większość z tego opisuje, jak był trenowany, a nie jak działa — użyteczny kontekst do oceny, ile pracy włożono w to, i jak wypada w porównaniu z modelami budowanymi w innym skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- Typ organizacji
- Industry
- Kraj
- United States of America
- Opublikowany
- 11 December 2013
- Autorzy
- Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, Tony Robinson
Co to robi
Obszary problemowe, dla których stworzono model. Model może mieć kilka z każdego.
- Domena
- Language
- Zadanie
- Language modeling
Rozmiar
Jak duży jest model i na ile danych był trenowany. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- parametry
- 20B
- Dane treningowe
- 1,000,000,000 tokens
20B from Table 1
from abstract: 'With almost one billion words of training data, '
Przebieg szkolenia
Co fizycznie było potrzebne do treningu: jakie chipy, ile, na jak długo i co to pobierało z sieci.
- Zastosowane chipy
- 24
- Czas-chip
- 5,760
- Czas rzeczywisty
- 240 hours (10 days)
from Table 1,240 hours on 24 CPUs
Jak jest klasyfikowane
Etykiety, które źródłowy zbiór danych stosuje podczas śledzenia znaczących modeli oraz jak pewny jest tego wpisu.
- Dlaczego to jest śledzone
- Highly cited,SOTA improvement
- Zapisz pewność
- Speculative
- Cytaty
- 1,205
from abstract: 'We show performance of several well-known types of language models, with the best results achieved with a recurrent neural network based language model. The baseline unpruned Kneser-Ney 5-gram model achieves perplexity 67.6; a combination of techniques leads to 35% reduction in perplexity, or 10% reduction in cross-entropy (bits), over that baseline. '
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling
- Ostatnio zaktualizowane
- 28 November 2025
Co oznaczają liczby
Co to jest model?
RNN for 1B words został opublikowany przez Google, w kraju zapisanym jako United States of America, podczas December 2013. Organizacja publikująca jest klasyfikowana jako industry.
Działa w dziedzinie Language, i jest zapisany jako wykonujący zadanie language modeling.
To jest model zamknięty: wytrenowane wartości pozostały u tego, kto je wyprodukował, a lokalna wersja do uruchomienia nie istnieje.
Co poszło w budowę tego
Trening zużył korpus około 1,000,000,000 Tokeny tekstu.
Kryterium włączenia: highly cited,SOTA improvement.
Odpowiedzi
RNN for 1B words — częste pytania
RNN for 1B words— do czego to służy?
Działa w dziedzinie Language, i jest zarejestrowany jako realizujący zadanie language modeling. Model może obsługiwać kilka z każdego, więc to są obszary, dla których został zbudowany, a nie ograniczenie tego, co będzie próbował.
RNN for 1B words— Jaką GPU potrzebuję, aby ją uruchomić?
Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.
RNN for 1B words— czy jest open weight?
Licencja nigdy nie została zarejestrowana w naszych danych źródłowych. Traktujemy niewskazaną licencję jako zamkniętą, ponieważ niezarejestrowana licencja nie jest na którą można polegać.
RNN for 1B words— ile ma parametrów?
Ma liczbę parametrów równą 20B. 20B from Table 1. Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.
RNN for 1B words— kto to stworzył?
Zostało opublikowane przez Google, oparty na United States of America, organizacja sklasyfikowana jako industry.
RNN for 1B words— kiedy to zostało wydane?
Zostało opublikowane w December 2013. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko będzie działać., Zacznij od sprzętu zamiast.