RQ-Transformer (3.8B params ImageNet dataset)

Κλειστές βαρύτητες Kakao,POSTECH 3.8B παράμετροι March 2022

Καμία εκτίμηση

Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο

Δεν έχει δημοσιευτεί το βάρος για αυτό το μοντέλο, επομένως δεν μπορεί να κατέβει ή να τρέξει σε δικό σας υλικό σε οποιοδήποτε μέγεθος. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του, και καμία κάρτα γραφικών δεν το αλλάζει αυτό..

Σε καταγραφή

Πλήρης προδιαγραφή

Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..

Προέλευση

Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.

Οργάνωση
Kakao,POSTECH
Τύπος οργανισμού
Industry,Academia
Χώρα
Korea (Republic of)
Δημοσιευμένο
3 March 2022
Συγγραφείς
Doyup Lee, Chiheon Kim, Saehoon Kim, Minsu Cho, Wook-Shin Han

Τι κάνει

Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.

τομέας
Vision, Image generation
Εργασία
Text-to-image

Μέγεθος

Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.

παράμετροι
3.8B

3822M from Table 5 - ImageNet rows

Δεδομένα εκπαίδευσης
327,680,000 tokens

size of ImageNet

Εποχές
50

Εκπαίδευση υπολογιστών

Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.

Εκπαίδευση υπολογιστών
2.9 × 10²⁰ FLOP

"We use eight NVIDIA A100 GPUs to train RQ-Transformer of 1.4B parameters, and four GPUs to train RQ-Transformers of other sizes. The training time is <9 days for LSUN-cat, LSUN-bedroom, <4.5 days for ImageNet, and CC-3M, and <1 day for LSUN-church and FFHQ. " Taken literally, suggests 3.8B model used fewer GPUs than 1.4B. This seems likely to be a typo, so I assume details are meant to be given for largest model (3.8B). (8) * (3.12e14) * (4.5 * 24 * 3600) * (0.3) = 2.911e20 (num gpu) * (peak …

Πώς ιδρύθηκε
Hardware

Η εκπαίδευση run

Τι απαιτήθηκε φυσικά για την εκπαίδευση: ποιες κάρτες, πόσες, για πόσο καιρό, και τι αυτό απαιτούσε από το ρεύμα.

Υλικό εκπαίδευσης
NVIDIA A100
χρησιμοποιούμενα τσιπ
4
Τσιπ-ώρες
432
Χρόνος τοίχου
108 hours

States 4.5 days for ImageNet for 1.4B model, but this is probably a typo. I expect these details were given for the largest model. "We use eight NVIDIA A100 GPUs to train RQ-Transformer of 1.4B parameters, and four GPUs to trainRQ-Transformers of other sizes. The training time is <9 days for LSUN-cat, LSUN-bedroom, <4.5 days for ImageNet, and CC-3M, and <1 day for LSUN-church and FFHQ. "

Κατανάλωση ενέργειας
3.2 kW

Πώς ταξινομείται

Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.

Εγγραφή εμπιστοσύνης
Likely
Παραπομπές
763

Πηγές

Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.

Αναφορά
Autoregressive Image Generation using Residual Quantization
Τελευταία ενημέρωση
25 May 2026

Τι σημαίνουν οι αριθμοί

Τι είναι αυτό το μοντέλο

RQ-Transformer (3.8B params ImageNet dataset) δημοσιεύθηκε από Kakao,POSTECH, στην χώρα καταγεγραμμένη ως Korea (Republic of), κατά τη διάρκεια March 2022. Η κατηγορία στην οποία υπάγεται ο εκδότης είναι industry,Academia.

Λειτουργεί στον τομέα της Vision, Image generation, και καταγράφεται ότι εκτελεί την εργασία του text-to-image.

Τα βάρη του δεν έχουν δημοσιευθεί ποτέ, οπότε μπορεί να προσεγγιστεί μόνο μέσω του παρόχου του. Καμία κάρτα γραφικών δεν αλλάζει αυτό.

Εκπαίδευση και προελεύσεις

Η εκπαίδευση απαιτούσε έναν υπολογιστικό προϋπολογισμό περίπου 2.9 × 10²⁰ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA A100. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.

Το σύνολο εκπαίδευσης εκτελέστηκε σε περίπου 327,680,000 κωδικοί κειμένου

Απαντήσεις

RQ-Transformer (3.8B params ImageNet dataset) — κοινές ερωτήσεις

01

RQ-Transformer (3.8B params ImageNet dataset)— πότε κυκλοφόρησε;

Δημοσιεύθηκε σε March 2022. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.

02

RQ-Transformer (3.8B params ImageNet dataset)— για τί χρησιμοποιείται;

Λειτουργεί στον τομέα της Vision, Image generation, και καταγράφεται ως διαχείριση της εργασίας του text-to-image. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.

03

RQ-Transformer (3.8B params ImageNet dataset)— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;

Η εκπαίδευση κατανάλωσε περίπου 2.9 × 10²⁰ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA A100. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.

04

RQ-Transformer (3.8B params ImageNet dataset)— ποια GPU χρειάζομαι για να το τρέξω;

Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.

05

RQ-Transformer (3.8B params ImageNet dataset)— είναι ανοιχτού κώδικα;

Η αδειοδότηση δεν καταγράφηκε ποτέ στα πηγά μας δεδομένα. Αντιμετωπίζουμε τις μη δηλωμένες άδειες ως κλειστές, επειδή μια μη καταγεγραμμένη άδεια δεν είναι μία στην οποία μπορείς να βασιστείς.

06

RQ-Transformer (3.8B params ImageNet dataset)— πόσες παραμέτρους έχει;

Έχει αριθμό παραμέτρων 3.8B. 3822M from Table 5 - ImageNet rows. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.

07

RQ-Transformer (3.8B params ImageNet dataset)— ποιος το δημιούργησε;

Δημοσιεύθηκε από Kakao,POSTECH, βασισμένο σε Korea (Republic of), μία οργάνωση κατηγοριοποιημένη ως industry,Academia.

Πηγή

Αρχική δημοσίευση

Η καταγραφή ενημερώθηκε τελευταία φορά 25 May 2026

Η άλλη κατεύθυνση

Κοιτάζοντας το από την άλλη πλευρά;

Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.