KN5 LM + RNN 400/10 (WSJ)

È stato pubblicato da Brno University of Technology,Johns Hopkins University, basato su Czechia, un'organizzazione categorizzata come academia,Academia.

È stato pubblicato in September 2010. La capacità per parametro è migliorata considerevolmente da allora, quindi un modello più recente della stessa dimensione è spesso un uso migliore dello stesso hardware.

Funziona nel dominio di Speech, e viene registrato come gestire il compito di transcription. I modelli portano frequentemente più di uno di ciascuno, e le etichette descrivono lo scopo piuttosto che i limiti di capacità.

L'addestramento ha consumato circa 1.7 × 10¹⁶ FLOP. Questo misura quanto costa produrre il modello e non dice nulla su quanto rapidamente risponde una volta addestrato — la velocità di inferenza deriva dalla larghezza di banda della memoria, non dal budget di addestramento.

Nessuno. Questo è un modello chiuso - i suoi pesi non sono mai stati pubblicati, quindi non può essere scaricato o eseguito sul tuo hardware a qualsiasi prezzo. È accessibile solo attraverso il suo fornitore.

La licenza non è mai stata registrata nei nostri dati sorgente. Trattiamo le licenze non dichiarate come chiuse, perché una licenza non registrata non è una su cui fare affidamento.

Ha un numero di parametri di 22.2M. RNN 400/10 indicates that the model has 400 units in the hidden layer and merges words that occur less than 10 times in the training set. The model is trained on a 6.4M word subset of the NYT subset of English Gigaword. In this colab notebook, I estimate the vocabulary after merging infrequent words using english word frequency data at around 27.5k: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Then RNN 400/10 has: (27.5k + 400) * 400 + (400 * 27.5k) = 22.16M parameters The KN5 LM is effectively a lookup table over 5-grams in it's training data. In one sense, this means it has approximately as many parameters as unique 5-grams in the 37M words of training data. However, these aren't parameters in the same sense as neural networks, as they are accessed as a lookup table, so on each forward pass only one parameter is active. I choose not to include these parameters in our count. Quella cifra è il totale, ed è ciò che decide quanto memoria il modello ha bisogno — circa mezzo gigabyte per miliardo alla compressione che la maggior parte delle persone usa.