RNN 500/10 + RT09 LM (NIST RT05)

Het heeft een parameter telling van 19.3M. "The acoustic HMMs are based on cross-word tied-states triphones trained discriminatively using MPE criteria. Feature extraction use 13 Mel-PLP’s features with deltas, double and triple deltas reduced by HLDA to 39-dimension feature vector" RNN 500/10 indicates that the model has a 500 units in the hidden layer and merges words that occur less than 10 times in the training set. Section 4.2 in this paper appears to indicate that NIST RT05 has a vocabulary of 50k words: https://www.fit.vut.cz/person/imikolov/public/rnnlm/char.pdf Using this dataset of english word frequencies ... https://www.kaggle.com/datasets/rtatman/english-word-frequency ... we can estimate that the number of words in the final vocabulary would have been around 19k when merging with threshold 5: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Thus the model in question would have: (500 + 19k) * 500 + 500 * 19k = 19250000 parameters The RT09 LM they interpolate with appears to be a 4-gram model. In one sense, n-gram models have parameters roughly equal to the number of unique n-grams in the training data. For comparison, the Google Web 1T 5-gram corpus has 1.3B unique 4-grams: https://catalog.ldc.upenn.edu/LDC2006T13 However, these aren't parameters in the same sense as neural networks as they are accessed as a lookup table, so on each forward pass only one parameter is active. I choose not to include these parameters in our count. Dat cijfer is het totaal, en het bepaalt hoeveel MEMORY het MODEL nodig heeft - ongeveer een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.

Het werd gepubliceerd door Brno University of Technology,Johns Hopkins University, gebaseerd op Czechia, een organisatie geclassificeerd als academia,Academia.

Het werd gepubliceerd in September 2010. De capaciteit per parameter is aanzienlijk verbeterd sinds, zodat een nieuwere model van dezelfde grootte vaak een betere benutting van dezelfde hardware is.

Het werkt in het domein van Speech, en wordt geregistreerd als het afhandelen van transcription. Een model kan er verschillende van elk dragen, dus dit zijn de gebieden waarvoor het is gebouwd in plaats van een limiet op wat het zal proberen.

Training verbruikte ongeveer 1.3 × 10¹⁶ FLOP. Dat meet wat het kosten om het model te produceren en zegt niets over hoe snel het antwoord geeft zodra het getraind is — inferentie snelheid komt van geheugenbandbreedte, niet van het trainingsbudget.

Dit is een gesloten model — de gewichten zijn nooit gepubliceerd, dus het kan niet gedownload of uitgevoerd worden op je eigen hardware voor eender welke prijs. Het is alleen bereikbaar via de aanbieder.

De licenties werden nooit vastgelegd in onze brondocumenten. We beschouwen niet-verklaarde licenties als gesloten, omdat een niet-vastgelegde licentie er geen is om op te vertrouwen.