Neural LM

Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.

Licencja nigdy nie została zarejestrowana w naszych danych źródłowych. Traktujemy niewskazaną licencję jako zamkniętą, ponieważ niezarejestrowana licencja nie jest na którą można polegać.

Ma liczbę parametrów równą 6.9M. (30959*100) + (8*100*120) + (120*30959) = 6,906,980 "This is obtained with a network with the direct architecture, 100 randomly initialized words features, 120 hidden units, and n = 8 words of context." "The Hansard corpus (Canadian parliament proceedings, French version) is a stream of about 34 million words, of which 32 millions (set A) was used for training, 1.1 million (set B) was used for validation, and 1.2 million (set C) was used for out-of-sample tests. The original data has 106, 936 different words, and those with frequency <= 10 were merged into a single token, yielding IVI = 30,959 different words.". Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.

Zostało opublikowane przez University of Montreal / Université de Montréal, oparty na Canada, organizacja sklasyfikowana jako academia.

Zostało opublikowane w November 2000. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.

Działa w dziedzinie Language, i jest zarejestrowany jako realizujący zadanie language modeling. To są obszary, wokół których został zaprojektowany; opisują zamiar, a nie twardą granicę.

Szkolenie zajęło około 6.3 × 10¹⁵ FLOP. To mierzy, ile kosztowało wyprodukowanie modelu i nie mówi nic o tym, jak szybko odpowiada po wytrenowaniu — prędkość wnioskowania pochodzi z SZEROKOŚCI PASMA, a nie z budżetu treningowego.