KN5 LM + RNN 400/10 (WSJ)

Δημοσιεύθηκε από Brno University of Technology,Johns Hopkins University, βασισμένο σε Czechia, μία οργάνωση κατηγοριοποιημένη ως academia,Academia.

Δημοσιεύθηκε σε September 2010. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.

Λειτουργεί στον τομέα της Speech, και καταγράφεται ως διαχείριση της εργασίας του transcription. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.

Η εκπαίδευση κατανάλωσε περίπου 1.7 × 10¹⁶ FLOP. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.

Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.

Η αδειοδότηση δεν καταγράφηκε ποτέ στα πηγά μας δεδομένα. Αντιμετωπίζουμε τις μη δηλωμένες άδειες ως κλειστές, επειδή μια μη καταγεγραμμένη άδεια δεν είναι μία στην οποία μπορείς να βασιστείς.

Έχει αριθμό παραμέτρων 22.2M. RNN 400/10 indicates that the model has 400 units in the hidden layer and merges words that occur less than 10 times in the training set. The model is trained on a 6.4M word subset of the NYT subset of English Gigaword. In this colab notebook, I estimate the vocabulary after merging infrequent words using english word frequency data at around 27.5k: https://colab.research.google.com/drive/1K5qH0EqXtFwTLESNtp4oelCM28GpGXt6?usp=sharing Then RNN 400/10 has: (27.5k + 400) * 400 + (400 * 27.5k) = 22.16M parameters The KN5 LM is effectively a lookup table over 5-grams in it's training data. In one sense, this means it has approximately as many parameters as unique 5-grams in the 37M words of training data. However, these aren't parameters in the same sense as neural networks, as they are accessed as a lookup table, so on each forward pass only one parameter is active. I choose not to include these parameters in our count. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.