NLM
Aucune estimation
Aucun besoin matériel pour ce modèle
Les poids de ce modèle n'ont pas été publiés, il ne peut donc pas être téléchargé ou exécuté sur votre propre matériel, quelle que soit la taille. Il n'est accessible que via son fournisseur, et aucune carte graphique ne change cela.
Enregistrement terminé
Spécification complète
Tout ce qui concerne ce modèle. La plupart décrit comment il a été entraîné plutôt que comment il fonctionne — contexte utile pour évaluer le travail fourni et sa comparaison avec des modèles construits à une échelle différente.
Origine
Qui a construit ce modèle, où et quand il a été publié.
- Organisation
- Carnegie Mellon University (CMU),University of California San Diego
- Type d'organisation
- Academia,Academia
- Pays
- United States of America
- Publié
- 9 September 2021
- Auteurs
- Junxian He, Graham Neubig, Taylor Berg-Kirkpatrick
Ce qu'il fait
Les domaines problématiques pour lesquels le modèle a été conçu. Un modèle peut en porter plusieurs de chacun.
- Domaine
- Language
- Tâche
- Language modeling
Taille
Quelle est la taille du modèle et combien de données il a été formé. Les paramètres sont le chiffre qui détermine s'il tient sur une carte graphique donnée.
- Paramètres
- 247M
- Données d'entraînement
- tokens
The core language model is semi-parametric. There is a non-parametric component which involves learning a datastore which maps the training data to context vectors. This paper improves on the kNN-LM model primarily by reducing the size of the datastore to improve throughput. They also add a small 512 parameter neural net to adaptively adjust the interpolation hyperparameter. They use the pre-trained model from https://arxiv.org/abs/1809.10853, which had 247M trainable parameters, so the model i…
103M training tokens in WikiText-103
Calcul de formation
L'arithmétique effectuée pour entraîner le modèle, mesurée en opérations à virgule flottante. C'est une mesure du coût de l'exécution de l'entraînement, et non de la rapidité avec laquelle le modèle fini vous répond.
- Calcul de formation
- 2.8 × 10¹⁹ FLOP
- Comment cela a été établi
- Operation counting
The base model used was 247M parameters and trained for 286k updates with an effective batch size of 65,536 tokens. 6 * 247M * 286k * 65536 = 2.778e19 FLOPs Generating the datastore involves a single forward pass over all of the training examples, for another 2 * 247M * 103M = 5.088e16 FLOPs They also train the small retrieval adapter, but this converges in "several minutes with a single GPU" and so is unlikely to contribute significantly. The only other computationally expensive step is the…
L'entraînement
Ce qu'il a physiquement fallu pour entraîner : quels puces, combien, pendant combien de temps, et ce que cela a tiré du mur.
- Matériel d'entraînement
- NVIDIA GeForce RTX 3090
- Chips utilisés
- 1
- Consommation d'énergie
- 388 W
Disponibilité
Que vous puissiez obtenir le modèle et l'exécuter sur votre propre matériel, ce qui décide si l'une des chiffres de carte graphique sur cette page s'applique.
- Poids
- Closed — provider access only
- Accès au modèle
- Unreleased
- Code d'entraînement
- Open source
MIT for code: https://github.com/jxhe/efficient-knnlm
Comment il est classé
Étiquettes que le jeu de données source applique lors du suivi des modèles notables, et à quel point il est confiant dans l'entrée.
- Confiance d'enregistrement
- Confident
- Citations
- 123
- Benchmark data
- NLM
Sources
D'où provient cet enregistrement et quand a-t-il été vérifié pour la dernière fois.
- Référence
- Efficient Nearest Neighbor Language Models
- Dernière mise à jour
- 25 May 2026
Ce que signifient les chiffres
À propos de ce modèle
NLM was published by Carnegie Mellon University (CMU),University of California San Diego, in United States of America, in September 2021. It comes out of academia,Academia.
It works in Language, and is recorded as doing language modeling.
Ses poids n'ont jamais été publiés, donc on ne peut y accéder que par son fournisseur. Aucun changement de carte graphique ne change cela.
Comment il a été entraîné
Producing it required around 2.8 × 10¹⁹ FLOP of arithmetic, on NVIDIA GeForce RTX 3090, which is a statement about the training budget rather than about inference.
Réponses
NLM — Questions fréquentes
What is NLM used for?
NLM works in Language, and is recorded as handling language modeling. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
How much compute was used to train NLM?
Around 2.8 × 10¹⁹ FLOP, on NVIDIA GeForce RTX 3090. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run NLM?
None. NLM is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is NLM open source?
No. NLM has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does NLM have?
NLM has 247M parameters. The core language model is semi-parametric. There is a non-parametric component which involves learning a datastore which maps the training data to context vectors. This paper improves on the kNN-LM model primarily by reducing the size of the datastore to improve throughput. They also add a small 512 parameter neural net to adaptively adjust the interpolation hyperparameter. They use the pre-trained model from https://arxiv.org/abs/1809.10853, which had 247M trainable parameters, so the model in this paper one has 247M + 512 parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created NLM?
NLM was published by Carnegie Mellon University (CMU),University of California San Diego, based in United States of America, categorised as academia,Academia.
When was NLM released?
NLM was published in September 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
Dans l'autre sens
Regardez-la de l'autre côté ?
Cette page commence par le modèle. Si vous possédez déjà une carte et souhaitez connaître tout ce qu'elle pourra exécuter, commencez plutôt par le matériel.