RNN 1000/5 + RT09 LM (NIST RT05)

Dit is een gesloten model — de gewichten zijn nooit gepubliceerd, dus het kan niet gedownload of uitgevoerd worden op je eigen hardware voor eender welke prijs. Het is alleen bereikbaar via de aanbieder.

Nee. De gewichten zijn niet gepubliceerd, dus het bestaat alleen als een dienst die wordt beheerd door de eigenaar.

Het heeft een parameter telling van 77M. "The acoustic HMMs are based on cross-word tied-states triphones trained discriminatively using MPE criteria. Feature extraction use 13 Mel-PLP’s features with deltas, double and triple deltas reduced by HLDA to 39-dimension feature vector" RNN 1000/5 indicates that the model has a 1000 units in the hidden layer and merges words that occur less than 5 times in the training set. Section 4.2 in this paper appears to indicate that NIST RT05 has a vocabulary of 50k words: https://www.fit.vut.cz/person/imikolov/public/rnnlm/char.pdf Using this dataset of english word frequencies ... https://www.kaggle.com/datasets/rtatman/english-word-frequency ... we can estimate that the number of words in the final vocabulary would have been around 38k when merging with threshold 5: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Thus the model in question would have: (39 + 1000 + 38k) * 1000 + 1000 * 38k = 77,039,000 parameters The RT09 LM they interpolate with appears to be a 4-gram model. In one sense, n-gram models have parameters roughly equal to the number of unique n-grams in the training data. However, these aren't parameters in the same sense as neural networks as they are accessed as a lookup table, so on each forward pass only one parameter is active. I choose not to include these parameters in our count. Dat cijfer is het totaal, en het bepaalt hoeveel MEMORY het MODEL nodig heeft - ongeveer een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.

Het werd gepubliceerd door Brno University of Technology,Johns Hopkins University, gebaseerd op Czechia, een organisatie geclassificeerd als academia,Academia.

Het werd gepubliceerd in September 2010. De capaciteit per parameter is aanzienlijk verbeterd sinds, zodat een nieuwere model van dezelfde grootte vaak een betere benutting van dezelfde hardware is.

Het werkt in het domein van Speech, en wordt geregistreerd als het afhandelen van speech recognition (ASR), Transcription. Dit zijn de gebieden waar het omheen is ontworpen; ze beschrijven intentie eerder dan een harde grens.

Training verbruikte ongeveer 5 × 10¹⁶ FLOP. Dat meet wat het kosten om het model te produceren en zegt niets over hoe snel het antwoord geeft zodra het getraind is — inferentie snelheid komt van geheugenbandbreedte, niet van het trainingsbudget.