CaLM
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- University of Oxford
- Τύπος οργανισμού
- Academia
- Χώρα
- United Kingdom of Great Britain and Northern Ireland
- Δημοσιευμένο
- 19 December 2022
- Συγγραφείς
- Carlos Outeiral, Charlotte M. Deane
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Biology
- Εργασία
- Protein or nucleotide language model (pLM/nLM), Protein embedding, Protein property prediction, Protein localization prediction
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- παράμετροι
- 86M
- Δεδομένα εκπαίδευσης
- 2,523,746,560 tokens
- Εποχές
- 14
"We trained a large language model with 86M parameters"
"a dataset of 9M non-redundant and diverse cDNA sequences identified from whole-genome sequencing" "Gradients were accumulated to an effective batch size of 1,000 examples, or approximately 256,000 tokens. " 9000000*256000/1000=2304000000 tokens
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 2.9 × 10¹⁹ FLOP
- Πώς ιδρύθηκε
- Hardware,Operation counting
"4 NVIDIA Quadro RTX4000 GPUs for 40 days" Calculation assuming FP32, utilization 30%: = (40 * 24 * 3600) s * 7.1e12 FLOP/s * 0.3 * 4 GPU = 2.999808e+19 alternative calculation: "Gradients were accumulated to an effective batch size of 1,000 examples, or approximately 256,000 tokens. " "(66,000 gradient steps, 14 full epochs)" 256000*66000*14*86000000*6=1.220567e+20
Η εκπαίδευση run
Τι απαιτήθηκε φυσικά για την εκπαίδευση: ποιες κάρτες, πόσες, για πόσο καιρό, και τι αυτό απαιτούσε από το ρεύμα.
- Υλικό εκπαίδευσης
- NVIDIA Quadro RTX 4000
- χρησιμοποιούμενα τσιπ
- 4
- Τσιπ-ώρες
- 3,840
- Χρόνος τοίχου
- 960 hours (40 days)
- Κατανάλωση ενέργειας
- 1.3 kW
"The model reported in this work was trained on 4 NVIDIA Quadro RTX4000 GPUs for 40 days (66,000 gradient steps, 14 full epochs)"
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το τρέξετε στο δικό σας υλικό, το οποίο αποφασίζει αν οποιαδήποτε από τις αριθμούς της κάρτας γραφικών σε αυτή τη σελίδα ισχύει.
- Βάρη
- Closed — provider access only
- Πρόσβαση μοντέλου
- Unreleased
- Κωδικός εκπαίδευσης
- Open source
BSD-3-Clause license https://github.com/oxpig/CaLM
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Γιατί παρακολουθείται
- SOTA improvement
- Εγγραφή εμπιστοσύνης
- Likely
- Παραπομπές
- 34
not absolute SOTA, SOTA among similar size models "We show that large language models trained on codons, instead of amino acid sequences, provide high-quality representations that outperform comparable state-of-the-art models across a variety of tasks. In some tasks, like species recognition, prediction of protein and transcript abundance, or melting point estimation, we show that a language model trained on codons outperforms every other published protein language model, including some that co…
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- Codon language embeddings provide strong signals for protein engineering
- Τελευταία ενημέρωση
- 1 January 2026
Τι σημαίνουν οι αριθμοί
Τι είναι αυτό το μοντέλο
CaLM δημοσιεύθηκε από University of Oxford, στην χώρα καταγεγραμμένη ως United Kingdom of Great Britain and Northern Ireland, κατά τη διάρκεια December 2022. Προέρχεται από έναν οργανισμό που κατατάσσεται ως academia.
Λειτουργεί στον τομέα της Biology, και καταγράφεται ότι εκτελεί την εργασία του protein or nucleotide language model (pLM/nLM), Protein embedding, Protein property prediction, Protein localization prediction.
Επειδή τα WEIGHTS δεν είναι διαθέσιμα, κανένα από τα figures του HARDWARE αλλού σε αυτό το SITE δεν ισχύει γι' αυτό.
Πώς εκπαιδεύτηκε
Η εκπαιδευτική εκτέλεση καταναλώνει περίπου 2.9 × 10¹⁹ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA Quadro RTX 4000. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Εκπαιδεύτηκε σε ένα σώμα περίπου 2,523,746,560 κωδικοί κειμένου
Το κριτήριο συμπερασμού του: sOTA improvement.
Απαντήσεις
CaLM — κοινές ερωτήσεις
CaLM— ποιος το δημιούργησε;
Δημοσιεύθηκε από University of Oxford, βασισμένο σε United Kingdom of Great Britain and Northern Ireland, μία οργάνωση κατηγοριοποιημένη ως academia.
CaLM— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε December 2022. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
CaLM— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Biology, και καταγράφεται ως διαχείριση της εργασίας του protein or nucleotide language model (pLM/nLM), Protein embedding, Protein property prediction, Protein localization prediction. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.
CaLM— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 2.9 × 10¹⁹ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA Quadro RTX 4000. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
CaLM— ποια GPU χρειάζομαι για να το τρέξω;
Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.
CaLM— είναι ανοιχτού κώδικα;
Όχι. Τα βάρη του δεν έχουν δημοσιευθεί, οπότε υπάρχει μόνο ως υπηρεσία που ελέγχεται από τον ιδιοκτήτη του.
CaLM— πόσες παραμέτρους έχει;
Έχει αριθμό παραμέτρων 86M. "We trained a large language model with 86M parameters". Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.