CLUE
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- Naver Clova,Naver AI Lab
- Τύπος οργανισμού
- Industry,Industry
- Χώρα
- Korea (Republic of)
- Δημοσιευμένο
- 22 November 2022
- Συγγραφείς
- Kyuyong Shin, Hanock Kwak, Su Young Kim, Max Nihlen Ramstrom, Jisu Jeong, Jung-Woo Ha, Kyung-Min Kim
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Recommendation
- Εργασία
- Recommender system
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- παράμετροι
- 160M
- Δεδομένα εκπαίδευσης
- tokens
- Εποχές
- 8
- Μέγεθος παρτίδας
- 256
160m
Pre-training: We construct a sufficiently large-scale dataset with more than 50B (50741643225) behavior tokens collected over 2 years from search engine and e-commerce platform. Number of behavior tokens 50,741,643,225 (Appendix 1) Downstream: Books: We collect 1,298,489 review logs of 100,000 unique users and 504,572 unique books. Clothing: We collect 928,598 review logs of 100,000 unique users and 314,943 unique clothing, shoes, and jewelry. 50741643225+1298489+928598=50743870312
CLUE is trained with 160M parameters, sequence length (128), and batch size (256).
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 3.5 × 10¹⁸ FLOP
- Πώς ιδρύθηκε
- Reported,Operation counting
using graph reader on Figure 2 b for the upper right point: 0.04 PF-days * 10^15 FLOPS/s* 3600s*24h=3456000000000000000 counting operations: =160000000.00*50743870312*6=4.871411549952 × 10^19 "The computation (PF-days) is calculated as 6 × # of parameters × batch size × # of training steps × sequence length divided by one PF-day = 8.64 × 10^19. We train all models for 100,000 steps."
Η εκπαίδευση run
Τι απαιτήθηκε φυσικά για την εκπαίδευση: ποιες κάρτες, πόσες, για πόσο καιρό, και τι αυτό απαιτούσε από το ρεύμα.
- Υλικό εκπαίδευσης
- NVIDIA V100
- χρησιμοποιούμενα τσιπ
- 64
- Χρόνος τοίχου
- 168 hours (7 days)
- Κατανάλωση ενέργειας
- 38.4 kW
We shuffle the dataset at every epoch and train the model for 8 epochs, where the transfer performance begins to plateau. The total training time takes 7 days on 64 V100 GPUs.
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Εγγραφή εμπιστοσύνης
- Likely
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- Scaling Law for Recommendation Models: Towards General-purpose User Representations
- Τελευταία ενημέρωση
- 28 November 2025
Τι σημαίνουν οι αριθμοί
Από πού προήλθε
CLUE δημοσιεύθηκε από Naver Clova,Naver AI Lab, στην χώρα καταγεγραμμένη ως Korea (Republic of), κατά τη διάρκεια November 2022. Ο εκδοτικός οργανισμός κατηγοριοποιείται ως industry,Industry.
Λειτουργεί στον τομέα της Recommendation, και καταγράφεται ότι εκτελεί την εργασία του recommender system.
Επειδή τα WEIGHTS δεν είναι διαθέσιμα, κανένα από τα figures του HARDWARE αλλού σε αυτό το SITE δεν ισχύει γι' αυτό.
Εκπαίδευση και προελεύσεις
Η παραγωγή του απαιτούσε αριθμητική που ανήλθε περίπου 3.5 × 10¹⁸ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA V100. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Απαντήσεις
CLUE — κοινές ερωτήσεις
CLUE— ποια GPU χρειάζομαι για να το τρέξω;
Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.
CLUE— είναι ανοιχτού κώδικα;
Η αδειοδότηση δεν καταγράφηκε ποτέ στα πηγά μας δεδομένα. Αντιμετωπίζουμε τις μη δηλωμένες άδειες ως κλειστές, επειδή μια μη καταγεγραμμένη άδεια δεν είναι μία στην οποία μπορείς να βασιστείς.
CLUE— πόσες παραμέτρους έχει;
Έχει αριθμό παραμέτρων 160M. 160m. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.
CLUE— ποιος το δημιούργησε;
Δημοσιεύθηκε από Naver Clova,Naver AI Lab, βασισμένο σε Korea (Republic of), μία οργάνωση κατηγοριοποιημένη ως industry,Industry.
CLUE— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε November 2022. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
CLUE— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Recommendation, και καταγράφεται ως διαχείριση της εργασίας του recommender system. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.
CLUE— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 3.5 × 10¹⁸ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA V100. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.