GPT2+CoreLM+Fine-Tuning
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- Aristotle University of Thessaloniki
- Τύπος οργανισμού
- Academia
- Χώρα
- Greece
- Δημοσιευμένο
- 4 November 2021
- Συγγραφείς
- Nikolaos Stylianou, Ioannis Vlahavas
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Language
- Εργασία
- Language modeling/generation, Named entity recognition (NER)
- Βασικό μοντέλο
- GPT-2 (124M)
- Αριθμητική μορφή
- FP16
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- παράμετροι
- 132M
- Δεδομένα εκπαίδευσης
- tokens
- Εποχές
- 10
"In all our experiments we use the GPT2-small configuration with 124M parameters, with 12 layers and 12 attention heads each for our base model." "Our model has 132M parameters, a 6% increase, after the addition of the Entity-Gating layer and the entity representations."
batch size of 128
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 1.2 × 10²⁰ FLOP
- Πώς ιδρύθηκε
- Hardware
- Ρύθμιση υπολογιστών
- 2.6 × 10¹⁷ FLOP
GPT-2 124M compute ~ GPT-2 117M compute = 1.1699999999999999 × 10^20 FLOP 1.17 * 10^20 FLOP + 2.57472e+17 FLOP = 1.1725747e+20 FLOP
29800000000000 FLOP / s [Titan V, fp16 - reported] * 8 hours * 3600 sec / hour * 1 GPU * 0.3 [assumed utilization] = 2.57472e+17 FLOP (it is probably the upper bound since the 8 hours time seems to account for all models fine-tuned in the paper)
Η εκπαίδευση run
Τι απαιτήθηκε φυσικά για την εκπαίδευση: ποιες κάρτες, πόσες, για πόσο καιρό, και τι αυτό απαιτούσε από το ρεύμα.
- Υλικό εκπαίδευσης
- NVIDIA Titan V
- χρησιμοποιούμενα τσιπ
- 1
- Χρόνος τοίχου
- 8 hours
- Κατανάλωση ενέργειας
- 277 W
"In this setup, fine-tuning takes approximately 8 hours"
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το τρέξετε στο δικό σας υλικό, το οποίο αποφασίζει αν οποιαδήποτε από τις αριθμούς της κάρτας γραφικών σε αυτή τη σελίδα ισχύει.
- Βάρη
- Closed — provider access only
- Πρόσβαση μοντέλου
- Unreleased
- Κωδικός εκπαίδευσης
- Unreleased
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Εγγραφή εμπιστοσύνης
- Likely
- Παραπομπές
- 2
- Δεδομένα αναφοράς
- GPT2+CoreLM+Fine-Tuning
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- CoreLM: Coreference-aware Language Model Fine-Tuning
- Τελευταία ενημέρωση
- 28 November 2025
Τι σημαίνουν οι αριθμοί
Υπόβαθρο
GPT2+CoreLM+Fine-Tuning δημοσιεύθηκε από Aristotle University of Thessaloniki, στην χώρα καταγεγραμμένη ως Greece, κατά τη διάρκεια November 2021. Η κατηγορία στην οποία υπάγεται ο εκδότης είναι academia.
Λειτουργεί στον τομέα της Language, και καταγράφεται ότι εκτελεί την εργασία του language modeling/generation, Named entity recognition (NER).
Αντί να εκπαιδευτεί από την αρχή, προέρχεται από GPT-2 (124M). Οι περισσότεροι μοντέλα σε αυτή την κλίμακα προσαρμόζονται από μια υπάρχουσα βάση παρά κατασκευάζονται από το μηδέν.
Αυτό είναι ένα κλειστό μοντέλο: οι εκπαιδευμένες τιμές παρέμειναν με όποιον τις παρήγαγε, και δεν υπάρχει τοπική έκδοση για να τρέξει.
Εκπαίδευση και προελεύσεις
Η εκπαιδευτική εκτέλεση καταναλώνει περίπου 1.2 × 10²⁰ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA Titan V. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Απαντήσεις
GPT2+CoreLM+Fine-Tuning — κοινές ερωτήσεις
GPT2+CoreLM+Fine-Tuning— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 1.2 × 10²⁰ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA Titan V. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
GPT2+CoreLM+Fine-Tuning— ποια GPU χρειάζομαι για να το τρέξω;
Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.
GPT2+CoreLM+Fine-Tuning— είναι ανοιχτού κώδικα;
Όχι. Τα βάρη του δεν έχουν δημοσιευθεί, οπότε υπάρχει μόνο ως υπηρεσία που ελέγχεται από τον ιδιοκτήτη του.
GPT2+CoreLM+Fine-Tuning— πόσες παραμέτρους έχει;
Έχει αριθμό παραμέτρων 132M. "In all our experiments we use the GPT2-small configuration with 124M parameters, with 12 layers and 12 attention heads each for our base model." "Our model has 132M parameters, a 6% increase, after the addition of the Entity-Gating layer and the entity representations.". Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.
GPT2+CoreLM+Fine-Tuning— ποιος το δημιούργησε;
Δημοσιεύθηκε από Aristotle University of Thessaloniki, βασισμένο σε Greece, μία οργάνωση κατηγοριοποιημένη ως academia.
GPT2+CoreLM+Fine-Tuning— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε November 2021. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
GPT2+CoreLM+Fine-Tuning— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Language, και καταγράφεται ως διαχείριση της εργασίας του language modeling/generation, Named entity recognition (NER). Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.