LSTM (Hebbian, Cache, MbPA)
Χωρίς εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Τα βάρη αυτού του μοντέλου δεν έχουν δημοσιευθεί, επομένως δεν μπορεί να κατεβεί ή να τρέξει σε δικό σας υλικό οποιουδήποτε μεγέθους. Είναι προσβάσιμο μόνο μέσω του παρόχου του και καμία κάρτα γραφικών δεν το αλλάζει αυτό.
Σε εγγραφή
Πλήρης προδιαγραφή
Όλα τα δεδομένα σχετικά με αυτό το μοντέλο. Τα περισσότερα περιγράφουν πώς εκπαιδεύτηκε παρά πώς τρέχει — χρήσιμο πλαίσιο για την αξιολόγηση του πόσο δουλειά απαιτήθηκε και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα.
Προέλευση
Ποιος δημιούργησε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε;
- Οργάνωση
- DeepMind,University College London (UCL)
- Τύπος οργάνωσης
- Industry,Academia
- Χώρα
- United Kingdom of Great Britain and Northern Ireland
- Δημοσιευμένο
- 27 March 2018
- Συγγραφείς
- Jack W Rae, Chris Dyer, Peter Dayan, Timothy P Lillicrap
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες κατασκευάστηκε το μοντέλο. Ένα μοντέλο μπορεί να περιέχει αρκετές από κάθε μία.
- Τομέας
- Language
- Εντολή
- Language modeling
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα εκπαιδεύτηκε. Οι παράμετροι είναι το νούμερο που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- Παραμέτροι
- 530.4M
- Δεδομένα εκπαίδευσης
- 175,181,505 tokens
- Εποχές
- 80
- Μέγεθος παρτίδας
- 51,200
Single layer LSTM with hidden dimension of 2048. Vocabulary for Gutenberg is 242,621; input and output embeddings are tied. Embedding layer (tied): 242,621 * 2048 = 496,887,808 LSTM layer: 4 * (2048 + 2048) * 2048 = 33,554,432 Total: 496,887,808 + 33,554,432 = 530,442,240
Omniglot: 32k images Wikitext-103: "Over 100 million tokens" Gutenberg: 175,181,505 tokens GigaWord v5: 4B tokens Gigaword is the largest dataset, but the largest training run uses Project Gutenberg.
Sequence length of 100, total of 512 batches. Batches are split between 8 GPUs.
Υπολογιστική εκπαίδευση
Η αριθμητική που εκτελείται για την εκπαίδευση του μοντέλου, μετρημένη σε αριθμητικές πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της εκπαίδευσης, όχι πόσο γρήγορα απαντά το ολοκληρωμένο μοντέλο.
- Υπολογιστική εκπαίδευση
- 3.3 × 10¹⁹ FLOP
- Πώς ιδρύθηκε
- Hardware,Operation counting
They do training runs on a vision task and three language datasets. The largest dataset by size is GigaWord, but the largest training run is on the Gutenberg dataset, at 15B tokens. I assume the input embedding is done with an embedding lookup for efficiency rather than a dense matrix multiplication, so we only count FLOPs on the de-embedding. Ops counting: 6 * 15B * 530,442,240 = 4.774e19 Hardware: (8 * 1.87e13) * (6 * 24 * 3600) * 0.3 = 2.327e19 Geometric mean: sqrt(4.774e19 * 2.327e19) =…
Η εκπαίδευση
Τι χρειάστηκε φυσικά για να εκπαιδεύσουμε: ποια τσιπ, πόσα, για πόσο καιρό, και τι αυτό τραβούσε από τον τοίχο.
- Εκπαίδευση υλικού
- NVIDIA P100
- Τσιπ που χρησιμοποιούνται
- 8
- Χρόνος τοίχου
- 144 hours
- Κατανάλωση ενέργειας
- 4.2 kW
- Compute cost
- $591
6 days
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το εκτελέσετε στον δικό σας εξοπλισμό, κάτι που αποφασίζει αν κάποια από τα στοιχεία της κάρτας γραφικών σε αυτή τη σελίδα εφαρμόζονται.
- Βάρη
- Closed — provider access only
- Πρόσβαση μοντέλου
- Unreleased
- Κώδικας εκπαίδευσης
- Unreleased
Πώς ταξινομείται
Ετικέτες που εφαρμόζει το πηγαίο σύνολο δεδομένων κατά την παρακολούθηση σημαντικών μοντέλων, και πόσο σίγουρο είναι για την είσοδο.
- Καταγραφή εμπιστοσύνης
- Confident
- Αναφορές
- 47
- Benchmark data
- LSTM (Hebbian, Cache, MbPA)
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία.
- Αναφορά
- Fast Parametric Learning with Activation Memorization
- Τελευταία ενημέρωση
- 11 February 2026
Τι σημαίνουν οι αριθμοί
Σχετικά με αυτό το μοντέλο
LSTM (Hebbian, Cache, MbPA) was published by DeepMind,University College London (UCL), in United Kingdom of Great Britain and Northern Ireland, in March 2018. The organisation is categorised as industry,Academia.
It works in Language, and is recorded as doing language modeling.
This is a closed model: the trained values stayed with whoever produced them, and there is no local version to run.
Πώς εκπαιδεύτηκε
Producing it required around 3.3 × 10¹⁹ FLOP of arithmetic, on NVIDIA P100, which is a statement about the training budget rather than about inference.
Around 175,181,505 tokens went into training it.
Απαντήσεις
LSTM (Hebbian, Cache, MbPA) — Συχνές ερωτήσεις
What is LSTM (Hebbian, Cache, MbPA) used for?
LSTM (Hebbian, Cache, MbPA) works in Language, and is recorded as handling language modeling. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
How much compute was used to train LSTM (Hebbian, Cache, MbPA)?
Around 3.3 × 10¹⁹ FLOP, on NVIDIA P100. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run LSTM (Hebbian, Cache, MbPA)?
None. LSTM (Hebbian, Cache, MbPA) is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is LSTM (Hebbian, Cache, MbPA) open source?
No. LSTM (Hebbian, Cache, MbPA) has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does LSTM (Hebbian, Cache, MbPA) have?
LSTM (Hebbian, Cache, MbPA) has 530.4M parameters. Single layer LSTM with hidden dimension of 2048. Vocabulary for Gutenberg is 242,621; input and output embeddings are tied. Embedding layer (tied): 242,621 * 2048 = 496,887,808 LSTM layer: 4 * (2048 + 2048) * 2048 = 33,554,432 Total: 496,887,808 + 33,554,432 = 530,442,240. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created LSTM (Hebbian, Cache, MbPA)?
LSTM (Hebbian, Cache, MbPA) was published by DeepMind,University College London (UCL), based in United Kingdom of Great Britain and Northern Ireland, categorised as industry,Academia.
When was LSTM (Hebbian, Cache, MbPA) released?
LSTM (Hebbian, Cache, MbPA) was published in March 2018. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
Η άλλη κατεύθυνση
Βλέποντάς το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινάει από το μοντέλο. Αν ήδη διαθέτετε μια κάρτα και θέλετε να γνωρίζετε όλα όσα θα τρέξει, Ξεκινήστε από το υλικό αντί..