GPT-2 (fine-tuned with HYDRA)
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- University of California San Diego
- Τύπος οργανισμού
- Academia
- Χώρα
- United States of America
- Δημοσιευμένο
- 16 October 2021
- Συγγραφείς
- Kabir Nagrecha, Arun Kumar
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Language
- Εργασία
- Language modeling/generation
- Βασικό μοντέλο
- GPT-2 (1.5B)
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- παράμετροι
- 1.5B
- Δεδομένα εκπαίδευσης
- tokens
- Εποχές
- 1
They don't actually say which GPT-2 version they use, but it appears to be XL (1.5B params), since Table 1 shows zero-shot accuracy of 18.34 on WikiText-2, which is what the 1.5B version got.
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 1.9 × 10²¹ FLOP
- Πώς ιδρύθηκε
- Operation counting
- Ρύθμιση υπολογιστών
- 1.8 × 10¹⁶ FLOP
They fine-tuned GPT-2 (1.5B) for one epoch on WikiText-2. GPT-2 itself used 1.92e21 FLOP, and here we see 6 * 2M * 1.54B = 1.848e16 fine-tuning FLOP (which has almost no impact on total FLOP).
They fine-tuned GPT-2 (1.5B) for one epoch on WikiText-2. GPT-2 itself used 1.92e21 FLOP, and here we see 6 * 2M * 1.54B = 1.848e16 fine-tuning FLOP (which has almost no impact on total FLOP).
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το τρέξετε στο δικό σας υλικό, το οποίο αποφασίζει αν οποιαδήποτε από τις αριθμούς της κάρτας γραφικών σε αυτή τη σελίδα ισχύει.
- Βάρη
- Closed — provider access only
- Πρόσβαση μοντέλου
- Unreleased
- Κωδικός εκπαίδευσης
- Unreleased
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Εγγραφή εμπιστοσύνης
- Confident
- Παραπομπές
- 6
- Δεδομένα αναφοράς
- GPT-2 (fine-tuned with HYDRA)
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- Hydra: A System for Large Multi-Model Deep Learning
- Τελευταία ενημέρωση
- 25 May 2026
Τι σημαίνουν οι αριθμοί
Τι είναι αυτό το μοντέλο
GPT-2 (fine-tuned with HYDRA) δημοσιεύθηκε από University of California San Diego, στην χώρα καταγεγραμμένη ως United States of America, κατά τη διάρκεια October 2021. Προέρχεται από έναν οργανισμό που κατατάσσεται ως academia.
Λειτουργεί στον τομέα της Language, και καταγράφεται ότι εκτελεί την εργασία του language modeling/generation.
Αντί να εκπαιδευτεί από την αρχή, προέρχεται από GPT-2 (1.5B). Γι' αυτό μοιράζεται τη γενική μορφή και μέγεθος του βασικού μοντέλου.
Τα βάρη του δεν έχουν δημοσιευθεί ποτέ, οπότε μπορεί να προσεγγιστεί μόνο μέσω του παρόχου του. Καμία κάρτα γραφικών δεν αλλάζει αυτό.
Εκπαίδευση και προελεύσεις
Η εκπαιδευτική εκτέλεση καταναλώνει περίπου 1.9 × 10²¹ FLOP. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Απαντήσεις
GPT-2 (fine-tuned with HYDRA) — κοινές ερωτήσεις
GPT-2 (fine-tuned with HYDRA)— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 1.9 × 10²¹ FLOP. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
GPT-2 (fine-tuned with HYDRA)— ποια GPU χρειάζομαι για να το τρέξω;
Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.
GPT-2 (fine-tuned with HYDRA)— είναι ανοιχτού κώδικα;
Όχι. Τα βάρη του δεν έχουν δημοσιευθεί, οπότε υπάρχει μόνο ως υπηρεσία που ελέγχεται από τον ιδιοκτήτη του.
GPT-2 (fine-tuned with HYDRA)— πόσες παραμέτρους έχει;
Έχει αριθμό παραμέτρων 1.5B. They don't actually say which GPT-2 version they use, but it appears to be XL (1.5B params), since Table 1 shows zero-shot accuracy of 18.34 on WikiText-2, which is what the 1.5B version got. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.
GPT-2 (fine-tuned with HYDRA)— ποιος το δημιούργησε;
Δημοσιεύθηκε από University of California San Diego, βασισμένο σε United States of America, μία οργάνωση κατηγοριοποιημένη ως academia.
GPT-2 (fine-tuned with HYDRA)— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε October 2021. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
GPT-2 (fine-tuned with HYDRA)— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Language, και καταγράφεται ως διαχείριση της εργασίας του language modeling/generation. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.