Pointer Sentinel-LSTM (medium)
Aucune estimation
Aucun besoin matériel pour ce modèle
Les poids de ce modèle n'ont pas été publiés, il ne peut donc pas être téléchargé ou exécuté sur votre propre matériel, quelle que soit la taille. Il n'est accessible que via son fournisseur, et aucune carte graphique ne change cela.
Enregistrement terminé
Spécification complète
Tout ce qui concerne ce modèle. La plupart décrit comment il a été entraîné plutôt que comment il fonctionne — contexte utile pour évaluer le travail fourni et sa comparaison avec des modèles construits à une échelle différente.
Origine
Qui a construit ce modèle, où et quand il a été publié.
- Organisation
- MetaMind Inc,Salesforce
- Type d'organisation
- Industry,Industry
- Pays
- United States of America
- Publié
- 26 September 2016
- Auteurs
- Stephen Merity, Caiming Xiong, James Bradbury, Richard Socher
Ce qu'il fait
Les domaines problématiques pour lesquels le modèle a été conçu. Un modèle peut en porter plusieurs de chacun.
- Domaine
- Language
- Tâche
- Language modeling
Taille
Quelle est la taille du modèle et combien de données il a été formé. Les paramètres sont le chiffre qui détermine s'il tient sur une carte graphique donnée.
- Paramètres
- 21M
- Données d'entraînement
- 929,000 tokens
- Époques
- 64
"We also halve the learning rate when validation perplexity is worse than the previous iteration, stopping training when validation perplexity fails to improve for three epochs or when 64 epochs are reached"
Calcul de formation
L'arithmétique effectuée pour entraîner le modèle, mesurée en opérations à virgule flottante. C'est une mesure du coût de l'exécution de l'entraînement, et non de la rapidité avec laquelle le modèle fini vous répond.
- Calcul de formation
- 7.5 × 10¹⁵ FLOP
- Comment cela a été établi
- Operation counting
6 FLOP / parameter / token * 21000000 parameters * 929000 tokens * 64 epochs = 7.491456e+15 FLOP
Disponibilité
Que vous puissiez obtenir le modèle et l'exécuter sur votre propre matériel, ce qui décide si l'une des chiffres de carte graphique sur cette page s'applique.
- Poids
- Closed — provider access only
- Accès au modèle
- Unreleased
- Code d'entraînement
- Unreleased
Comment il est classé
Étiquettes que le jeu de données source applique lors du suivi des modèles notables, et à quel point il est confiant dans l'entrée.
- Pourquoi c'est suivi
- Highly cited,SOTA improvement
- Confiance d'enregistrement
- Confident
- Citations
- 4,010
- Benchmark data
- Pointer Sentinel-LSTM (medium)
"Our pointer sentinel-LSTM model achieves state of the art language modeling performance on the Penn Treebank (70.9 perplexity) while using far fewer parameters than a standard softmax LSTM"
Sources
D'où provient cet enregistrement et quand a-t-il été vérifié pour la dernière fois.
- Référence
- Pointer Sentinel Mixture Models
- Dernière mise à jour
- 25 May 2026
Ce que signifient les chiffres
Ce que ce modèle est
Pointer Sentinel-LSTM (medium) was published by MetaMind Inc,Salesforce, in United States of America, in September 2016. It comes out of industry,Industry.
It works in Language, and is recorded as doing language modeling.
Because the weights are not available, none of the hardware figures elsewhere on this site apply to it.
Ce qui a contribué à sa construction
Training it took roughly 7.5 × 10¹⁵ FLOP of computation — a measure of what producing the model cost, not of how fast it answers.
The training set ran to roughly 929,000 tokens.
It is tracked in the underlying dataset for one reason in particular: highly cited,SOTA improvement.
Réponses
Pointer Sentinel-LSTM (medium) — Questions fréquentes
What GPU do I need to run Pointer Sentinel-LSTM (medium)?
None. Pointer Sentinel-LSTM (medium) is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Pointer Sentinel-LSTM (medium) open source?
No. Pointer Sentinel-LSTM (medium) has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Pointer Sentinel-LSTM (medium) have?
Pointer Sentinel-LSTM (medium) has 21M parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Pointer Sentinel-LSTM (medium)?
Pointer Sentinel-LSTM (medium) was published by MetaMind Inc,Salesforce, based in United States of America, categorised as industry,Industry.
When was Pointer Sentinel-LSTM (medium) released?
Pointer Sentinel-LSTM (medium) was published in September 2016. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Pointer Sentinel-LSTM (medium) used for?
Pointer Sentinel-LSTM (medium) works in Language, and is recorded as handling language modeling. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
How much compute was used to train Pointer Sentinel-LSTM (medium)?
Around 7.5 × 10¹⁵ FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
Dans l'autre sens
Regardez-la de l'autre côté ?
Cette page commence par le modèle. Si vous possédez déjà une carte et souhaitez connaître tout ce qu'elle pourra exécuter, commencez plutôt par le matériel.