Llama Nemotron Ultra 253B Υπολογιστής TPS

Η μικρότερη κάρτα στον κατάλογό μας που το κρατάει είναι H200 NVL, με χωρητικότητα μνήμης 141 GB. Τρέχει το μοντέλο σε συμπίεση της Q3_K_M χρησιμοποιώντας περίπου 124.3 GB, και παράγει περίπου 22.1 δεκάρια ανά δευτερόλεπτο. Ο αριθμός των καρτών που είναι ικανές να το εκτελέσουν συνολικά: 9.

Εξαρτάται από την ΚΑΡΤΑ. Ο πιο γρήγορος υπολογισμός που κάνουμε είναι B200, γύρω από 30.9 tokens ανά δευτερόλεπτο; ο πιο αργός που εξακολουθεί να τρέχει διαχειρίζεται σημαντικά λιγότερα. Η ταχύτητα ανάγνωσης είναι γύρω από δέκα tokens ανά δευτερόλεπτο, και ο αριθμός των καρτών που καθαρίζουν αυτό: 9.

Χρειάζεται περίπου 124.3 GB σε συμπίεση Q3_K_M, ποια είναι η μικρότερη κάρτα που το τρέχει. Λιγότερη συμπίεση χρειάζεται περισσότερα: οι αριθμοί στη στήλη μνήμης παραπάνω υπολογίζονται ξανά για κάθε κάρτα, επειδή κάθε μία κρατά την λιγότερο συμπιεσμένη έκδοση που μπορεί.

Οι βάσεις του είναι δημοσιευμένες, οπότε μπορεί να κατέβει και να τρέξει σε δικό σας υλικό. Σημειώστε ότι τα open weights δεν είναι το ίδιο με το open source με την πλήρη έννοια — δεν λέει τίποτα για τα δεδομένα εκπαίδευσης, τον κώδικα εκπαίδευσης ή τους εμπορικούς όρους που συσχετίζονται.

Έχει αριθμό παραμέτρων 253B. 253B "Dense decoder-only Transformer model Network Architecture: Llama-3.1-405B-Instruct, customized through Neural Architecture Search (NAS) **This model was developed based on Llama-3.1-405B-Instruct ** This model has 253B model parameters.". Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.

Δημοσιεύθηκε από NVIDIA, βασισμένο σε United States of America, μία οργάνωση κατηγοριοποιημένη ως industry.

Δημοσιεύθηκε σε March 2025.

Λειτουργεί στον τομέα της Language, και καταγράφεται ως διαχείριση της εργασίας του language modeling/generation, Question answering, Quantitative reasoning, Code generation, Neural Architecture Search - NAS. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.

Τα βάρη του είναι δημοσιευμένα στο Hugging Face, υπό την οργάνωση nvidia. Δεν φιλοξενούμε αρχεία μοντέλων — αυτός ο ιστότοπος υπολογίζει ποιο υλικό απαιτείται για να τα εκτελέσετε.

Η εκπαίδευση κατανάλωσε περίπου 3.9 × 10²⁵ FLOP. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.

Μερικώς. Οι στρώσεις που δεν χωρούν βρίσκονται στη μνήμη του συστήματος και λειτουργούν με κλάσμα της ταχύτητας, οπότε ένα μοντέλο που είναι κυρίως εκφορτωμένο σπάνια αξίζει να χρησιμοποιηθεί. Η πλησιέστερη αποτυχία που υπολογίζουμε υπολείπεται κατά 38.6 GB Κάθε αριθμός εδώ υποθέτει ότι ολόκληρο το μοντέλο είναι εγκατεστημένο στην κάρτα.

Η ικανότητα προστίθεται σε κάρτες; η απόδοση δεν προστίθεται. Ο αριθμός των καρτών που το κρατούν ήδη μόνες τους: 9. Έτσι, μια δεύτερη κάρτα σπάνια είναι η απάντηση εδώ.

Επειδή η χωρητικότητα διαφέρει, έτσι διαφέρει και πόσο σφιχτά πρέπει να συμπιεστεί. Ο αριθμός των διακριτών επιπέδων στον παραπάνω πίνακα: 3. Οι μεγαλύτερες κάρτες παίρνουν την πιο ακριβή έκδοση, και η ποιότητα του δαπέδου πάνω από τις βελονίτσες συγκρατεί τη σύγκριση σε ένα επίπεδο.

Κάθε νούμερο προκύπτει από το εύρος ζώνης μνήμης και το μέγεθος του μοντέλου, χωρίς να έχουν αξιολογηθεί, γι' αυτό και κάθε ένα δημοσιεύεται ως εύρος αντί για έναν μόνο αριθμό. Ένα παράδειγμα: 19–49 tok/s στον B200. Το ίδιο μοντέλο και κάρτα διαφέρουν κατά τριάντα έως πενήντα τοις εκατό ανάλογα με το λογισμικό συμπερασμού και την έκδοσή του.