Discriminator-tuned LSTM
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- Samsung R&D Institute Russia
- Τύπος οργανισμού
- Industry
- Χώρα
- Russia
- Δημοσιευμένο
- 12 November 2018
- Συγγραφείς
- Vadim Popov, Mikhail Kudinov
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Language
- Εργασία
- Language modeling
- Προσέγγιση
- Self-supervised learning
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- παράμετροι
- 111.9M
- Δεδομένα εκπαίδευσης
- tokens
The largest experiment is the model trained in section 4.3 ("Large scale experiment"). The dataset here has a vocabulary of 100k words. They use a single-layer LSTM with 500 hidden units, with differentiated softmax for the output layer. d_k for distributed softmax varies from 16-150 depending on the relative frequency of the output word. Input layer: 100k * 500 = 50M parameters LSTM: 4 * (500 + 500) * 500 = 2M parameters Output layer: Here we need to assume the structure of differentiated s…
4GB of text * 200M words/GB * (0.75 words/token)^-1 = 1,066,666,667 tokens However, it's unclear whether they train over all of this. They break the data into 20MB chunks and say that each "epoch" corresponds to training on one chunk. Training the discriminator and fine-tuning the language model takes 60 and 30 "epochs" each, i.e. (60 + 30) * 0.02 * 200M * 4/3 = 480M tokens They appear to have pre-trained their own LSTM language model on the same data, but they don't say how many "ep…
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το τρέξετε στο δικό σας υλικό, το οποίο αποφασίζει αν οποιαδήποτε από τις αριθμούς της κάρτας γραφικών σε αυτή τη σελίδα ισχύει.
- Κωδικός εκπαίδευσης
- Unreleased
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Εγγραφή εμπιστοσύνης
- Likely
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- Fine-tuning of Language Models with Discriminator
- Τελευταία ενημέρωση
- 28 November 2025
Τι σημαίνουν οι αριθμοί
Σχετικά με αυτό το μοντέλο
Discriminator-tuned LSTM δημοσιεύθηκε από Samsung R&D Institute Russia, στην χώρα καταγεγραμμένη ως Russia, κατά τη διάρκεια November 2018. Προέρχεται από έναν οργανισμό που κατατάσσεται ως industry.
Λειτουργεί στον τομέα της Language, και καταγράφεται ότι εκτελεί την εργασία του language modeling.
Τα βάρη του δεν έχουν δημοσιευθεί ποτέ, οπότε μπορεί να προσεγγιστεί μόνο μέσω του παρόχου του. Καμία κάρτα γραφικών δεν αλλάζει αυτό.
Απαντήσεις
Discriminator-tuned LSTM — κοινές ερωτήσεις
Discriminator-tuned LSTM— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Language, και καταγράφεται ως διαχείριση της εργασίας του language modeling. Ένα ΜΟΝΤΕΛ μπορεί να φέρει πολλά από το καθένα, οπότε αυτές είναι οι περιοχές για τις οποίες κατασκευάστηκε παρά περιορισμός σε ό,τι θα προσπαθήσει.
Discriminator-tuned LSTM— ποια GPU χρειάζομαι για να το τρέξω;
Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.
Discriminator-tuned LSTM— είναι ανοιχτού κώδικα;
Η αδειοδότηση δεν καταγράφηκε ποτέ στα πηγά μας δεδομένα. Αντιμετωπίζουμε τις μη δηλωμένες άδειες ως κλειστές, επειδή μια μη καταγεγραμμένη άδεια δεν είναι μία στην οποία μπορείς να βασιστείς.
Discriminator-tuned LSTM— πόσες παραμέτρους έχει;
Έχει αριθμό παραμέτρων 111.9M. The largest experiment is the model trained in section 4.3 ("Large scale experiment"). The dataset here has a vocabulary of 100k words. They use a single-layer LSTM with 500 hidden units, with differentiated softmax for the output layer. d_k for distributed softmax varies from 16-150 depending on the relative frequency of the output word. Input layer: 100k * 500 = 50M parameters LSTM: 4 * (500 + 500) * 500 = 2M parameters Output layer: Here we need to assume the structure of differentiated softmax. Let's (somewhat arbitrarily) assume the top 10k words get 150-dim embeddings, the middle 30k get 50-dim embeddings, and the bottom 60k get 16-dim embeddings. Then we have: (10k * 150) + (30k * 50) + (60k * 16) = 3.96M parameters So in total, we have 50M + 2M + 3.96M = 55.96M In other experiments, the authors use the same architecture for the discriminator as for the language model. So total parameter count would appear to be 2 x 55.96M = 111.92M. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.
Discriminator-tuned LSTM— ποιος το δημιούργησε;
Δημοσιεύθηκε από Samsung R&D Institute Russia, βασισμένο σε Russia, μία οργάνωση κατηγοριοποιημένη ως industry.
Discriminator-tuned LSTM— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε November 2018. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.