RNN 1000/5 + RT09 LM (NIST RT05)

Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.

Όχι. Τα βάρη του δεν έχουν δημοσιευθεί, οπότε υπάρχει μόνο ως υπηρεσία που ελέγχεται από τον ιδιοκτήτη του.

Έχει αριθμό παραμέτρων 77M. "The acoustic HMMs are based on cross-word tied-states triphones trained discriminatively using MPE criteria. Feature extraction use 13 Mel-PLP’s features with deltas, double and triple deltas reduced by HLDA to 39-dimension feature vector" RNN 1000/5 indicates that the model has a 1000 units in the hidden layer and merges words that occur less than 5 times in the training set. Section 4.2 in this paper appears to indicate that NIST RT05 has a vocabulary of 50k words: https://www.fit.vut.cz/person/imikolov/public/rnnlm/char.pdf Using this dataset of english word frequencies ... https://www.kaggle.com/datasets/rtatman/english-word-frequency ... we can estimate that the number of words in the final vocabulary would have been around 38k when merging with threshold 5: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Thus the model in question would have: (39 + 1000 + 38k) * 1000 + 1000 * 38k = 77,039,000 parameters The RT09 LM they interpolate with appears to be a 4-gram model. In one sense, n-gram models have parameters roughly equal to the number of unique n-grams in the training data. However, these aren't parameters in the same sense as neural networks as they are accessed as a lookup table, so on each forward pass only one parameter is active. I choose not to include these parameters in our count. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.

Δημοσιεύθηκε από Brno University of Technology,Johns Hopkins University, βασισμένο σε Czechia, μία οργάνωση κατηγοριοποιημένη ως academia,Academia.

Δημοσιεύθηκε σε September 2010. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.

Λειτουργεί στον τομέα της Speech, και καταγράφεται ως διαχείριση της εργασίας του speech recognition (ASR), Transcription. Αυτές είναι οι περιοχές γύρω από τις οποίες σχεδιάστηκε; Περιγράφουν την πρόθεση παρά ένα αυστηρό όριο.

Η εκπαίδευση κατανάλωσε περίπου 5 × 10¹⁶ FLOP. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.