LSTM LM
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- RWTH Aachen University
- Τύπος οργανισμού
- Academia
- Χώρα
- Germany
- Δημοσιευμένο
- 9 September 2012
- Συγγραφείς
- M. Sundermeyer, R. Schlüter, H. Ney
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Language
- Εργασία
- Language modeling
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- παράμετροι
- 102.7M
- Δεδομένα εκπαίδευσης
- 27,000,000 tokens
Multiple models were trained, the largest on transcribed French podcast data. "We trained an LSTM LM using 300 hidden nodes and 27 M running words of indomain training data" "Corpus sizes in number of running words; the vocabulary size of the Treebank corpus is 10 K, for Quaero French it is 170 K" Embedding and unembedding: 2*170000*300=102000000 LSTM: 4*600*300=720000 Total: 102000000+720000=102720000=1.03e8 (Assuming the embedding dimension is the same as the LSTM layer)
"We trained an LSTM LM using 300 hidden nodes and 27 M running words of indomain training data."
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 1.7 × 10¹⁶ FLOP
- Πώς ιδρύθηκε
- Operation counting
FLOP per input for LSTM layer is 4*2*(M+N)*M, for N inputs and M outputs. Embedding FLOPs: 2 * 170000 * 300 = 102,000,000 LSTM FLOPs: 4 * 2 * (300 + 300) * 300 = 1,440,000 Unembedding FLOPs: 2 * 170000 * 300 = 102,000,000 Total: 205,440,000 FLOPs per word per forward pass For 27M training input words and including backward passes: 27M * 3 * 205,440,000 = 1.66e16 However, it sounds like they're doing something with a secondary acoustic model, so this may be an underestimate.
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Γιατί παρακολουθείται
- Highly cited
- Εγγραφή εμπιστοσύνης
- Speculative
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- LSTM Neural Networks for Language Modeling
- Τελευταία ενημέρωση
- 28 November 2025
Τι σημαίνουν οι αριθμοί
Σχετικά με αυτό το μοντέλο
LSTM LM δημοσιεύθηκε από RWTH Aachen University, στην χώρα καταγεγραμμένη ως Germany, κατά τη διάρκεια September 2012. Ο εκδοτικός οργανισμός κατηγοριοποιείται ως academia.
Λειτουργεί στον τομέα της Language, και καταγράφεται ότι εκτελεί την εργασία του language modeling.
Τα βάρη του δεν έχουν δημοσιευθεί ποτέ, οπότε μπορεί να προσεγγιστεί μόνο μέσω του παρόχου του. Καμία κάρτα γραφικών δεν αλλάζει αυτό.
Πώς εκπαιδεύτηκε
Η παραγωγή του απαιτούσε αριθμητική που ανήλθε περίπου 1.7 × 10¹⁶ FLOP. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Το σύνολο εκπαίδευσης εκτελέστηκε σε περίπου 27,000,000 κωδικοί κειμένου
Αυτή παρακολουθείται στο υποκείμενο σύνολο δεδομένων για έναν συγκεκριμένο λόγο: highly cited.
Απαντήσεις
LSTM LM — κοινές ερωτήσεις
LSTM LM— είναι ανοιχτού κώδικα;
Η αδειοδότηση δεν καταγράφηκε ποτέ στα πηγά μας δεδομένα. Αντιμετωπίζουμε τις μη δηλωμένες άδειες ως κλειστές, επειδή μια μη καταγεγραμμένη άδεια δεν είναι μία στην οποία μπορείς να βασιστείς.
LSTM LM— πόσες παραμέτρους έχει;
Έχει αριθμό παραμέτρων 102.7M. Multiple models were trained, the largest on transcribed French podcast data. "We trained an LSTM LM using 300 hidden nodes and 27 M running words of indomain training data" "Corpus sizes in number of running words; the vocabulary size of the Treebank corpus is 10 K, for Quaero French it is 170 K" Embedding and unembedding: 2*170000*300=102000000 LSTM: 4*600*300=720000 Total: 102000000+720000=102720000=1.03e8 (Assuming the embedding dimension is the same as the LSTM layer). Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.
LSTM LM— ποιος το δημιούργησε;
Δημοσιεύθηκε από RWTH Aachen University, βασισμένο σε Germany, μία οργάνωση κατηγοριοποιημένη ως academia.
LSTM LM— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε September 2012. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
LSTM LM— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Language, και καταγράφεται ως διαχείριση της εργασίας του language modeling. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.
LSTM LM— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 1.7 × 10¹⁶ FLOP. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
LSTM LM— ποια GPU χρειάζομαι για να το τρέξω;
Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.