AlphaFold

Η εκπαίδευση κατανάλωσε περίπου 1 × 10²⁰ FLOP. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.

Κανένα. Αυτό είναι ένα κλειστό μοντέλο - τα βάρη του δεν δημοσιεύθηκαν ποτέ, οπότε δεν μπορεί να κατέβει ή να εκτελεστεί σε δικό σας υλικό σε καμία τιμή. Είναι προσβάσιμο μόνο μέσω του προμηθευτή του.

Όχι. Τα βάρη του δεν έχουν δημοσιευθεί, οπότε υπάρχει μόνο ως υπηρεσία που ελέγχεται από τον ιδιοκτήτη του.

Έχει αριθμό παραμέτρων 16.3M. "Neural network hyperparameters" section of https://www.nature.com/articles/s41586-019-1923-7: “7 × 4 Blocks with 256 channels, cycling through dilations 1, 2, 4, 8” “48 × 4 Blocks with 128 channels, cycling through dilations 1, 2, 4, 8” "Distogram prediction" section: "For the final layer, a position-specific bias was used" Extended Data Fig.1 (b): Shows that each block consists of 9 layers: (1) Batch norm (2) Elu (3) Project down (halves number of dimensions) (4) Batch norm (5) Elu (6) 3x3 kernel with dilation (7) Batch norm (8) Elu (9) Project up (doubles number of dimensions) Dilations don't change the number of parameters in each filter Assuming that projection layers are convolutional layers with 1x1 kernels Parameter estimate for each layer in a 256 channel block: (1) 256*2 = 512 (2) 0 (3) 1*1*256*128 = 32768 (4) 128*2 = 256 (5) 0 (6) 3*3*128*128 = 147456 (7) 128*2 = 256 (8) 0 (9) 1*1*128*256 + 256 = 33024 Total = 214272 Parameter estimate for each layer in a 128 channel block: (1) 128*2 = 256 (2) 0 (3) 1*1*128*64 = 8192 (4) 64*2 = 128 (5) 0 (6) 3*3*64*64 = 36864 (7) 64*2 = 128 (8) 0 (9) 1*1*64*128 + 128 = 8320 Total = 53897 Estimate total network = 7*4*214272 + 48*4*53897 = 5992616 + 10348224 = 16340840 ~ 16e6 Within a factor of 2 of the estimate of 21M parameters stated in: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7305407/ [Previous approximation: 7 * 4 * 256 * 3 * 3 * 256 + 48 * 4 * 128 * 3 * 3 * 128 = 44826624]. Αυτή η φιγούρα είναι το σύνολο, και είναι αυτό που αποφασίζει πόση μνήμη χρειάζεται το μοντέλο - περίπου μισό γιγαμπάιτ ανά δισεκατομμύριο με τη συμπίεση που χρησιμοποιεί το πιο πολλοί άνθρωποι.

Δημοσιεύθηκε από DeepMind, βασισμένο σε United Kingdom of Great Britain and Northern Ireland, μία οργάνωση κατηγοριοποιημένη ως industry.

Δημοσιεύθηκε σε January 2020. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.

Λειτουργεί στον τομέα της Biology, και καταγράφεται ως διαχείριση της εργασίας του protein folding prediction, Proteins. Τα Μοντέλα συχνά φέρουν περισσότερα από ένα από το καθένα, και οι ετικέτες περιγράφουν τον σκοπό παρά τους περιορισμούς ικανότητας.