Big Transformer for Back-Translation
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Τα βάρη αυτού του μοντέλου είναι OPEN, αλλά κανένας αριθμός παραμέτρων δεν έχει δημοσιευθεί γι' αυτό. Κάθε FIGURE μνήμης και ταχύτητας ξεκινά από αυτόν τον αριθμό, οπότε θα προτιμούσαμε να μην δείξουμε τίποτα παρά μια κατασκευασμένη εκτίμηση..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- Facebook AI Research,Google Brain
- Τύπος οργανισμού
- Industry,Industry
- Χώρα
- United States of America, France
- Δημοσιευμένο
- 28 August 2018
- Συγγραφείς
- Sergey Edunov, Myle Ott, Michael Auli, David Grangier
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Language
- Εργασία
- Translation
- Προσέγγιση
- Supervised
- Αριθμητική μορφή
- FP16
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- Δεδομένα εκπαίδευσης
- 4,520,000,000 tokens
"Finally, for WMT English-German we train on all 226M available monolingual training sentences and perform 250K updates in 22.5 hours on 128 GPUs." We assume that 1 sentence have 15 words
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 4.8 × 10²⁰ FLOP
- Πώς ιδρύθηκε
- Hardware
(128) * (1.25e14) * (27*3600 + 40*60) * (0.3) = 4.7808e20 (number of gpus) * (peak flops) * (seconds) * (assumed utilization rate) "We run experiments on DGX-1 machines with 8Nvidia V100 GPUs and machines are interconnected by Infiniband. Experiments are run on 16 machines and we perform 30K synchronous updates." "We also use the NCCL2 library [...] with 16-bit floating point operations" NCCL2 supported tensor core operations at 1.25e14 FLOP/s on a V100 for FP16 in section 5.6 we have "t…
Η εκπαίδευση run
Τι απαιτήθηκε φυσικά για την εκπαίδευση: ποιες κάρτες, πόσες, για πόσο καιρό, και τι αυτό απαιτούσε από το ρεύμα.
- Υλικό εκπαίδευσης
- NVIDIA Tesla V100 DGXS 16 GB
- χρησιμοποιούμενα τσιπ
- 128
- Τσιπ-ώρες
- 3,541
- Χρόνος τοίχου
- 28 hours
- Κατανάλωση ενέργειας
- 66.2 kW
- Κόστος υπολογισμού
- $2,442
"training updates in 27h 40min on 128 GPUs"
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το τρέξετε στο δικό σας υλικό, το οποίο αποφασίζει αν οποιαδήποτε από τις αριθμούς της κάρτας γραφικών σε αυτή τη σελίδα ισχύει.
- Βάρη
- Open — downloadable
- Πρόσβαση μοντέλου
- Open weights (unrestricted)
- Κωδικός εκπαίδευσης
- Open source
Code and weights, MIT license: https://github.com/facebookresearch/fairseq/blob/main/examples/backtranslation/README.md
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Γιατί παρακολουθείται
- Highly cited,SOTA improvement
- Εγγραφή εμπιστοσύνης
- Likely
- Παραπομπές
- 1,155
"Finally, we scale to hundreds of millions of monolingual sentences and achieve a new state of the art of 35 BLEU on the WMT'14 English-German test set. "
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- Understanding Back-Translation at Scale
- Τελευταία ενημέρωση
- 28 November 2025
Τι σημαίνουν οι αριθμοί
Υπόβαθρο
Big Transformer for Back-Translation δημοσιεύθηκε από Facebook AI Research,Google Brain, στην χώρα καταγεγραμμένη ως United States of America, κατά τη διάρκεια August 2018. Ο εκδοτικός οργανισμός κατηγοριοποιείται ως industry,Industry.
Λειτουργεί στον τομέα της Language, και καταγράφεται ότι εκτελεί την εργασία του translation.
Οι δημοσιευμένοι σταθμισμένοι παράμετροι σημαίνουν ότι το μοντέλο εκτελείται στον υπολογιστή σας αντί για κάποιου άλλου, το οποίο είναι αυτό που καθιστά την ερώτηση για το υλικό παρακάτω απαντήσιμη σε κάθε περίπτωση.
Τι χρειάστηκε για την κατασκευή του
Η εκπαίδευση απαιτούσε έναν υπολογιστικό προϋπολογισμό περίπου 4.8 × 10²⁰ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA Tesla V100 DGXS 16 GB. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Η εκπαίδευση κατανάλωσε ένα σύνολο περίπου 4,520,000,000 κωδικοί κειμένου
Ο λόγος που εμφανίζεται σε αυτόν τον κατάλογο είναι: highly cited,SOTA improvement.
Απαντήσεις
Big Transformer for Back-Translation — κοινές ερωτήσεις
Big Transformer for Back-Translation— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε August 2018. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
Big Transformer for Back-Translation— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Language, και καταγράφεται ως διαχείριση της εργασίας του translation. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.
Big Transformer for Back-Translation— πού μπορώ να το κατεβάσω;
Οι παράμετροι είναι δημοσιευμένες, αν και δεν κρατάμε σύνδεσμο αποθετηρίου γι' αυτό. Αυτή η ιστοσελίδα υπολογίζει τις απαιτήσεις υλικού αντί να φιλοξενεί αρχεία μοντέλων.
Big Transformer for Back-Translation— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 4.8 × 10²⁰ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA Tesla V100 DGXS 16 GB. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
Big Transformer for Back-Translation— ποια GPU χρειάζομαι για να το τρέξω;
Δεν μπορούμε να πούμε. Έχει OPEN WEIGHTS, αλλά δεν έχει δημοσιευτεί καμία μέτρηση παραμέτρων για αυτό, και όλοι οι υπολογισμοί ΜΝΗΜΗΣ και ταχύτητας ξεκινούν από αυτόν τον αριθμό. Θα προτιμούσαμε να μην δείξουμε τίποτα από το να δώσουμε μια κατασκευασμένη εκτίμηση.
Big Transformer for Back-Translation— είναι ανοιχτού κώδικα;
Οι βάσεις του είναι δημοσιευμένες, οπότε μπορεί να κατέβει και να τρέξει σε δικό σας υλικό. Σημειώστε ότι τα open weights δεν είναι το ίδιο με το open source με την πλήρη έννοια — δεν λέει τίποτα για τα δεδομένα εκπαίδευσης, τον κώδικα εκπαίδευσης ή τους εμπορικούς όρους που συσχετίζονται.
Big Transformer for Back-Translation— πόσες παραμέτρους έχει;
Δεν έχει δημοσιευθεί αριθμός παραμέτρων γι' αυτό, γι' αυτό και δεν εμφανίζεται καμία τιμή μνήμης ή ταχύτητας σε αυτή τη σελίδα.
Big Transformer for Back-Translation— ποιος το δημιούργησε;
Δημοσιεύθηκε από Facebook AI Research,Google Brain, βασισμένο σε United States of America, μία οργάνωση κατηγοριοποιημένη ως industry,Industry.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.