RNN 500/10 + RT09 LM (NIST RT05)

Il a un nombre de paramètres de 19.3M. "The acoustic HMMs are based on cross-word tied-states triphones trained discriminatively using MPE criteria. Feature extraction use 13 Mel-PLP’s features with deltas, double and triple deltas reduced by HLDA to 39-dimension feature vector" RNN 500/10 indicates that the model has a 500 units in the hidden layer and merges words that occur less than 10 times in the training set. Section 4.2 in this paper appears to indicate that NIST RT05 has a vocabulary of 50k words: https://www.fit.vut.cz/person/imikolov/public/rnnlm/char.pdf Using this dataset of english word frequencies ... https://www.kaggle.com/datasets/rtatman/english-word-frequency ... we can estimate that the number of words in the final vocabulary would have been around 19k when merging with threshold 5: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Thus the model in question would have: (500 + 19k) * 500 + 500 * 19k = 19250000 parameters The RT09 LM they interpolate with appears to be a 4-gram model. In one sense, n-gram models have parameters roughly equal to the number of unique n-grams in the training data. For comparison, the Google Web 1T 5-gram corpus has 1.3B unique 4-grams: https://catalog.ldc.upenn.edu/LDC2006T13 However, these aren't parameters in the same sense as neural networks as they are accessed as a lookup table, so on each forward pass only one parameter is active. I choose not to include these parameters in our count. Ce chiffre est le total, et c'est ce qui détermine combien de mémoire le modèle nécessite — environ un demi-gigaoctet par milliard à la compression que la plupart des gens utilisent.

Il a été publié par Brno University of Technology,Johns Hopkins University, basé sur Czechia, une organisation catégorisée comme academia,Academia.

Il a été publié dans September 2010. La capacité par paramètre s'est considérablement améliorée depuis, donc un modèle plus récent de la même taille est souvent le meilleur usage du même matériel.

Il fonctionne dans le domaine de Speech, et est enregistré comme gérant la tâche de transcription. Un modèle peut porter plusieurs de chacun, donc ce sont les domaines pour lesquels il a été conçu plutôt qu'une limite sur ce qu'il tentera.

L'entraînement a consommé environ 1.3 × 10¹⁶ FLOP. Cela mesure ce que coûte la production du modèle et ne dit rien sur la rapidité avec laquelle il répond une fois entraîné — la vitesse d'inférence provient de la bande passante mémoire, et non du budget d'entraînement.

Aucun. C'est un modèle fermé - ses poids n'ont jamais été publiés, il ne peut donc pas être téléchargé ou exécuté sur votre propre matériel à aucun prix. Il n'est accessible que par son fournisseur.

La licence n'a jamais été enregistrée dans nos données source. Nous considérons une licence non déclarée comme fermée, car une licence non enregistrée n'est pas une licence sur laquelle compter.