Switch Υπολογιστής TPS

Ανοιχτά βάρη Google 1.6T παράμετροι January 2021

Κάθε κάρτα παρακάτω αξιολογείται σύμφωνα με αυτό το μοντέλο στη διάρκεια συμφραζομένων και την ελάχιστη ποιότητα που επιλέγετε. Η ταχύτητα είναι μια εκτίμηση για ένα μόνο αίτημα, υπολογισμένη από το εύρος ζώνης μνήμης της κάρτας και το μέγεθος του μοντέλου μόλις συμπιεστεί..

Υπολογίστηκε για αυτό το μοντέλο

0 κάρτες που μπορούν να το τρέξουν

818 κάρτες που κρατάμε προδιαγραφές για

Ποιες GPU μπορούν να τρέξουν Switch?

Ορίστε τις εισόδους, διαβάστε την απάντηση

Μια μεγαλύτερη συζήτηση χρειάζεται περισσότερη μνήμη, γεγονός που μπορεί να απομακρύνει αυτό το μοντέλο από μικρότερες κάρτες..

Κρύβει κάρτες που θα χωρούσαν μόνο το μοντέλο συμπιέζοντας το κάτω από αυτό το σημείο.

0 οι κάρτες ταιριάζουν

Υπολογισμός
Χρειάζεται Ποσοτικοποίηση Καλά

Καμία κάρτα στην κατασκοπία μας δεν μπορεί να τρέξει αυτό το μοντέλο με αυτές τις ρυθμίσεις..

Οι ταχύτητες είναι εκτιμήσεις για ένα μόνο αίτημα — μία συνομιλία τη φορά — υπολογισμένες από την μνήμη, το μέγεθος του μοντέλου και την ποσοτικοποίηση. Η πραγματική διακύμανση έξοδου ποικίλλει με τον χρόνο εκτέλεσης συμπερασμάτων και την έκδοσή του. Οι αριθμοί που δημοσιεύονται από τους προμηθευτές υλικού μετρούν πολλές ταυτόχρονες αιτήσεις και είναι πολύ υψηλότεροι..

Σε καταγραφή

Πλήρης προδιαγραφή

Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..

Προέλευση

Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.

Οργάνωση
Google
Τύπος οργανισμού
Industry
Χώρα
United States of America
Δημοσιευμένο
11 January 2021
Συγγραφείς
William Fedus, Barret Zoph, Noam Shazeer

Τι κάνει

Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.

τομέας
Language
Εργασία
Text autocompletion
Προσέγγιση
Self-supervised learning
Αριθμητική μορφή
BF16

Μέγεθος

Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.

παράμετροι
1.6T

"Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters

Δεδομένα εκπαίδευσης
86,400,000,000 tokens

"In our protocol we pre-train with 2^20 (1,048,576) tokens per batch for 550k steps amounting to 576B total tokens." 1 token ~ 0.75 words

Εκπαίδευση υπολογιστών

Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.

Εκπαίδευση υπολογιστών
8.2 × 10²² FLOP

Table 4 https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf

Πώς ιδρύθηκε
Third-party estimation

Η εκπαίδευση run

Τι απαιτήθηκε φυσικά για την εκπαίδευση: ποιες κάρτες, πόσες, για πόσο καιρό, και τι αυτό απαιτούσε από το ρεύμα.

Υλικό εκπαίδευσης
Google TPU v3
χρησιμοποιούμενα τσιπ
1,024
Τσιπ-ώρες
663,552
Χρόνος τοίχου
648 hours (27 days)

see table 4 in https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf

Χρήση υλικού
HFU 28.0%

Table 4 in https://arxiv.org/pdf/2104.10350 gives measured performance of 34.4 TFLOP/s, vs. peak achievable FLOP/s of 123 TFLOP/s on the TPUv3 being used. HFU = 34.4/123 = 0.27967

Κατανάλωση ενέργειας
935.4 kW
Κόστος υπολογισμού
$145,101

Διαθεσιμότητα

Εάν μπορείτε να αποκτήσετε το μοντέλο και να το τρέξετε στο δικό σας υλικό, το οποίο αποφασίζει αν οποιαδήποτε από τις αριθμούς της κάρτας γραφικών σε αυτή τη σελίδα ισχύει.

Βάρη
Open — downloadable
Πρόσβαση μοντέλου
Open weights (unrestricted)
Κωδικός εκπαίδευσης
Unreleased

Apache 2 for weights: https://huggingface.co/google/switch-c-2048 paper links to this repo but not clear that the training hyperparams for Switch are here: https://github.com/google-research/t5x

Πώς ταξινομείται

Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.

Μοντέλο Frontier
Yes
Γιατί παρακολουθείται
Highly cited,SOTA improvement

" On ANLI (Nie et al., 2019), Switch XXL improves over the prior state-of-the-art to get a 65.7 accuracy versus the prior best of 49.4 (Yang et al., 2020)... Finally, we also conduct an early examination of the model’s knowledge with three closed-book knowledge-based tasks: Natural Questions, WebQuestions and TriviaQA, without additional pre-training using Salient Span Masking (Guu et al., 2020). In all three cases, we observe improvements over the prior stateof-the-art T5-XXL model (without SSM…

Εγγραφή εμπιστοσύνης
Confident
Παραπομπές
3,888

Πηγές

Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.

Αναφορά
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Τελευταία ενημέρωση
25 May 2026

Τι σημαίνουν οι αριθμοί

Τι χρειάζεσαι για να το τρέξεις

Switch φτάνει σε αριθμό παραμέτρων του 1.6T. Αυτό είναι πέρα από ό,τι κρατάει οποιαδήποτε μεμονωμένη κάρτα γραφικών. Η εκτέλεσή του σημαίνει είτε να το χωρίσετε σε αρκετές κάρτες είτε να νοικιάσετε υλικό κατασκευασμένο για τη δουλειά, και κάθε κάρτα που μπορεί να το κρατήσει μόνη της είναι μέρος ενός datacentre. Ο αριθμός που μπορεί: 0.

Υπόβαθρο

Switch δημοσιεύθηκε από Google, στην χώρα καταγεγραμμένη ως United States of America, κατά τη διάρκεια January 2021. Ο εκδοτικός οργανισμός κατηγοριοποιείται ως industry.

Λειτουργεί στον τομέα της Language, και καταγράφεται ότι εκτελεί την εργασία του text autocompletion.

Τα βάρη είναι δημοσιευμένα, έτσι ώστε να μπορούν να κατεβούν και να τρέξουν στον δικό σας υπολογιστή επ' αόριστον, εκτός σύνδεσης, χωρίς λογαριασμό συνδεδεμένο.

Εκπαίδευση και προελεύσεις

Η εκπαιδευτική εκτέλεση καταναλώνει περίπου 8.2 × 10²² FLOP, σε υλικό καταγεγραμμένο ως Google TPU v3. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.

Η εκπαίδευση κατανάλωσε ένα σύνολο περίπου 86,400,000,000 κωδικοί κειμένου

Αυτή παρακολουθείται στο υποκείμενο σύνολο δεδομένων για έναν συγκεκριμένο λόγο: highly cited,SOTA improvement.

Βήμα προς βήμα

Πώς να επιλέξετε μια GPU για Switch

Ο πίνακας παραπάνω έχει ήδη αξιολογήσει κάθε κάρτα για την οποία έχουμε προδιαγραφές σε σχέση με αυτό το μοντέλο. Η εύρεση της απάντησής σας απαιτεί έξι βήματα.

  1. 01

    Διάβασε πρώτα την εικόνα μνήμης

    Αρχίστε από αυτό που πραγματικά χρειάζεται, το οποίο είναι η απαίτηση του Switch. Αυτή η τιμή, όχι η κύρια απόδοση μιας κάρτας, είναι αυτή που αποφασίζει αν θα τρέξει.

  2. 02

    Αποφασίστε πόσο πολύ διαρκούν οι συνομιλίες σας

    Η συζήτηση καταναλώνει μνήμη επίσης, και μεγαλώνει καθώς προχωρά. Ρυθμίστε τον διακόπτη στο μήκος που αναμένετε, γιατί σε μεγάλο context μια κάρτα που χειρίζεται εύκολα σύντομες ερωτήσεις μπορεί να απορριφθεί από Switch.

  3. 03

    Αποφασίστε πόση συμπίεση θα αποδεχθείτε

    Η Συμπίεση είναι αυτό που καθιστά ένα μοντέλο συμβατό με μικρότερες κάρτες, με κάποιο κόστος στην ακρίβεια.. Η ρύθμιση μιας ελάχιστης ποιότητας απορρίπτει τις κάρτες που το διαχειρίζονται μόνο σφίγγοντας περισσότερο από αυτό που θα θέλατε, και διατηρεί τη σύγκριση σε ένα επίπεδο.

  4. 04

    Ταξινόμηση κατά ταχύτητα

    Ταξινόμηση κατά ταχύτητα για να δείτε πώς οι ΚΑΡΤΕΣ κατατάσσονται για Switch. Δεν θα ταιριάξει σε μια παραγγελία παιχνιδιών, επειδή η γενιά περιορίζεται από το memory bandwidth.

  5. 05

    Διαβάστε την τελευταίο στήλη εφαρμογής

    Η στήλη καταλληλότητας χωρίζει τις κάρτες που απλά τα καταφέρνουν από αυτές που έχουν περιθώριο, στην περίπτωση του Switch. Άνετο σημαίνει ότι μπορείτε να επεκτείνετε το context αργότερα. Αυτή η διαφορά έχει μεγαλύτερη σημασία από μερικά tokens ανά δευτερόλεπτο, οπότε αγοράστε για άνετο αν το περιμένετε.

  6. 06

    Δες τι άλλο τρέχει αυτή η κάρτα

    Ακολουθώντας μια κάρτα μέχρι τη δική της σελίδα δείχνει κάθε άλλο μοντέλο που μπορεί να κρατήσει, το οποίο είναι το ερώτημα που προκύπτει μόλις αποφασίσετε για Switch.

Απαντήσεις

Switch — κοινές ερωτήσεις

01

Switch— για τί χρησιμοποιείται;

Λειτουργεί στον τομέα της Language, και καταγράφεται ως διαχείριση της εργασίας του text autocompletion. Αυτές είναι οι περιοχές γύρω από τις οποίες σχεδιάστηκε; Περιγράφουν την πρόθεση παρά ένα αυστηρό όριο.

02

Switch— πού μπορώ να το κατεβάσω;

Οι παράμετροι είναι δημοσιευμένες, αν και δεν κρατάμε σύνδεσμο αποθετηρίου γι' αυτό. Αυτή η ιστοσελίδα υπολογίζει τις απαιτήσεις υλικού αντί να φιλοξενεί αρχεία μοντέλων.

03

Switch— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;

Η εκπαίδευση κατανάλωσε περίπου 8.2 × 10²² FLOP, σε υλικό καταγεγραμμένο ως Google TPU v3. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.

04

Switch— μπορώ να το τρέξω αν δεν χωράει στην GPU μου;

Μπορεί να χωριστεί μεταξύ της κάρτας και της μνήμης του συστήματος, αλλά παράγει επώδυνα αργά με αυτόν τον τρόπο. Η πλησιέστερη αποτυχία που υπολογίζουμε υπολείπεται κατά 691.9 GB Κάθε αριθμός εδώ υποθέτει ότι ολόκληρο το μοντέλο είναι εγκατεστημένο στην κάρτα.

05

Switch— θα τρέξουν δύο GPU πιο γρήγορα;

Δύο κάρτες αγοράζουν μνήμη rather than ταχύτητα, η οποία έχει σημασία μόνο αν μία κάρτα δεν μπορεί να το κρατήσει. Ο αριθμός που μπορεί: 0. Έτσι, μια δεύτερη κάρτα σπάνια είναι η απάντηση εδώ.

06

Switch— γιατί διαφέρει η ποσοτικοποίηση μεταξύ των καρτών;

Μια μεγαλύτερη ΚΑΡΤΑ συγκρατεί μια πιο ακριβή αντίγραφο. Ο αριθμός των επιπέδων συμπίεσης που χρησιμοποιούνται στις ΚΑΡΤΕΣ που την εκτελούν: 1. Οι μεγαλύτερες κάρτες παίρνουν την πιο ακριβή έκδοση, και η ποιότητα του δαπέδου πάνω από τις βελονίτσες συγκρατεί τη σύγκριση σε ένα επίπεδο.

07

Switch— πόσο ακριβείς είναι αυτές οι εκτιμήσεις ταχύτητας;

Αυτές είναι εκτιμήσεις με πραγματικά περιθώρια σφάλματος, και οποιαδήποτε από αυτές θα μπορούσε λογικά να βρεθεί οπουδήποτε εντός της δημοσιευμένης περιοχής της, ανάλογα με το ποιο τρέξιμο χρησιμοποιείτε. Το ταχύτερο αποτέλεσμα εδώ: η κλίμακα κάτω από κάθε αριθμό. Το ίδιο μοντέλο και κάρτα διαφέρουν κατά τριάντα έως πενήντα τοις εκατό ανάλογα με το λογισμικό συμπερασμού και την έκδοσή του.

08

Switch— είναι ανοιχτού κώδικα;

Οι βάσεις του είναι δημοσιευμένες, οπότε μπορεί να κατέβει και να τρέξει σε δικό σας υλικό. Σημειώστε ότι τα open weights δεν είναι το ίδιο με το open source με την πλήρη έννοια — δεν λέει τίποτα για τα δεδομένα εκπαίδευσης, τον κώδικα εκπαίδευσης ή τους εμπορικούς όρους που συσχετίζονται.

09

Switch— πόσες παραμέτρους έχει;

Έχει αριθμό παραμέτρων 1.6T. "Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.

10

Switch— ποιος το δημιούργησε;

Δημοσιεύθηκε από Google, βασισμένο σε United States of America, μία οργάνωση κατηγοριοποιημένη ως industry.

11

Switch— πότε κυκλοφόρησε;

Δημοσιεύθηκε σε January 2021. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.

Πηγή

Αρχική δημοσίευση

Η καταγραφή ενημερώθηκε τελευταία φορά 25 May 2026

Η άλλη κατεύθυνση

Κοιτάζοντας το από την άλλη πλευρά;

Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.

Όλα τα μοντέλα AI