dnaGrinder
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- Hong Kong Polytechnic University
- Τύπος οργανισμού
- Academia
- Χώρα
- Hong Kong
- Δημοσιευμένο
- 24 September 2024
- Συγγραφείς
- Qihang Zhao, Chi Zhang, Weixiong Zhang
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Biology
- Εργασία
- Protein or nucleotide language model (pLM/nLM)
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- παράμετροι
- 63.6M
- Δεδομένα εκπαίδευσης
- 10,425,000,000 tokens
Main Pretraining: 69 billion Further Pretraining: 0.41 billion Total: 69 + 0.41 = 69.41 billion (6.94e10) tokens
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 2.8 × 10¹⁹ FLOP
1. Hardware setup: - Initial: 8x NVIDIA H100 SXM5 (7.56e14 FLOP/s per GPU) - Further: 1x NVIDIA A800 (7.80e13 FLOP/s) 2. Training duration (calculated from steps): - Initial: 119,000 steps × (256×2314) tokens/step = 7.04e10 tokens - Further: 31,000 steps × (32×2241) tokens/step = 2.22e9 tokens 4. Final calculation: Initial: 6 × 6.36e7 params × 7.04e10 tokens = 2.68e19 FLOPs Further: 6 × 6.36e7 params × 2.22e9 tokens = 8.46e17 FLOPs Total: 2.7712964e+19
Η εκπαίδευση run
Τι απαιτήθηκε φυσικά για την εκπαίδευση: ποιες κάρτες, πόσες, για πόσο καιρό, και τι αυτό απαιτούσε από το ρεύμα.
- Υλικό εκπαίδευσης
- NVIDIA H100 SXM5 80GB
- χρησιμοποιούμενα τσιπ
- 8
- Κατανάλωση ενέργειας
- 11.0 kW
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Εγγραφή εμπιστοσύνης
- Confident
- Παραπομπές
- 4
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- dnaGrinder: a lightweight and high-capacity genomic foundation model
- Τελευταία ενημέρωση
- 25 May 2026
Τι σημαίνουν οι αριθμοί
Τι είναι αυτό το μοντέλο
dnaGrinder δημοσιεύθηκε από Hong Kong Polytechnic University, στην χώρα καταγεγραμμένη ως Hong Kong, κατά τη διάρκεια September 2024. Ο εκδοτικός οργανισμός κατηγοριοποιείται ως academia.
Λειτουργεί στον τομέα της Biology, και καταγράφεται ότι εκτελεί την εργασία του protein or nucleotide language model (pLM/nLM).
Τα βάρη του δεν έχουν δημοσιευθεί ποτέ, οπότε μπορεί να προσεγγιστεί μόνο μέσω του παρόχου του. Καμία κάρτα γραφικών δεν αλλάζει αυτό.
Εκπαίδευση και προελεύσεις
Η εκπαίδευση απαιτούσε έναν υπολογιστικό προϋπολογισμό περίπου 2.8 × 10¹⁹ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA H100 SXM5 80GB. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Το σύνολο εκπαίδευσης εκτελέστηκε σε περίπου 10,425,000,000 κωδικοί κειμένου
Απαντήσεις
dnaGrinder — κοινές ερωτήσεις
dnaGrinder— ποια GPU χρειάζομαι για να το τρέξω;
Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.
dnaGrinder— είναι ανοιχτού κώδικα;
Η αδειοδότηση δεν καταγράφηκε ποτέ στα πηγά μας δεδομένα. Αντιμετωπίζουμε τις μη δηλωμένες άδειες ως κλειστές, επειδή μια μη καταγεγραμμένη άδεια δεν είναι μία στην οποία μπορείς να βασιστείς.
dnaGrinder— πόσες παραμέτρους έχει;
Έχει αριθμό παραμέτρων 63.6M. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.
dnaGrinder— ποιος το δημιούργησε;
Δημοσιεύθηκε από Hong Kong Polytechnic University, βασισμένο σε Hong Kong, μία οργάνωση κατηγοριοποιημένη ως academia.
dnaGrinder— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε September 2024. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
dnaGrinder— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Biology, και καταγράφεται ως διαχείριση της εργασίας του protein or nucleotide language model (pLM/nLM). Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.
dnaGrinder— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 2.8 × 10¹⁹ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA H100 SXM5 80GB. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.