Llama-3.1-Nemotron-70B-Instruct
Aucune estimation
Aucune exigence matérielle pour ce modèle
Les poids de ce modèle sont open, mais aucun compte de paramètres n'a été publié pour celui-ci. Chaque chiffre de mémoire et de vitesse commence à partir de ce nombre, donc nous préférerions ne rien montrer plutôt qu'une estimation fabriquée..
Enregistrement
Spécifications complètes
Tout est enregistré pour ce modèle. La plupart décrit comment il a été entraîné plutôt que comment il fonctionne — un contexte utile pour juger combien de travail a été investi, et comment il se compare avec des modèles construits à une échelle différente..
Origine
Qui a construit ce modèle, où, et quand il a été publié.
- Organisation
- NVIDIA,Meta AI
- Type d'organisation
- Industry,Industry
- Pays
- United States of America
- Publié
- 12 June 2024
- Auteurs
- Zhilin Wang, Yi Dong, Olivier Delalleau, Jiaqi Zeng, Gerald Shen, Daniel Egert, Jimmy Zhang, Makesh Narsimhan Sreedhar, Oleksii Kuchaiev
Ce qu'il fait
Les domaines problématiques pour lesquels le modèle a été conçu. Un modèle peut contenir plusieurs de chacun.
- Domaine
- Language
- Tâche
- Language modeling
- Approche
- Reinforcement learning
- Modèle de base
- Llama 3.1-70B
Taille
Quelle est la taille du modèle et combien de données il a été formé. Les paramètres sont le chiffre qui décide s'il convient à une carte graphique donnée.
- Données d'entraînement
- tokens
Calcul de formation
L'arithmétique effectuée pour entraîner le modèle, mesurée en opérations en virgule flottante. C'est une mesure du coût de l'exécution de l'entraînement, pas de la rapidité avec laquelle le modèle fini vous répond.
- Calcul de formation
- 7.9 × 10²⁴ FLOP
- Comment cela a été établi
- Hardware
- Ajustement fin des calculs
- 1 × 10²⁰ FLOP
Taken from Llama 3.1 70B as the finetuning compute is multiple orders of magnitude lower
Llama 3.1 70B: 7.929e+24 FT (see Appendix F): 32+64=96 hours on a single H100 Compute: 96*60*60*989500000000000*0.3=102591360000000000000=1e20
L'exécution de formation
Ce qu'il a physiquement fallu pour entraîner : quels chips, combien, pendant combien de temps, et ce que cela a tiré du secteur.
- Temps en temps réel
- 96 hours
Disponibilité
Que vous puissiez obtenir le modèle et l'exécuter sur votre propre matériel, ce qui détermine si l'un des chiffres de la carte graphique sur cette page s'applique.
- Poids
- Open — downloadable
- Accès au modèle
- Open weights (restricted use)
- Code d'entraînement
- Unreleased
- Hugging Face
- nvidia
Your use of this model is governed by the NVIDIA Open Model License. Additional Information: Llama 3.1 Community License Agreement (branding restrictions + cap size of 700M MAu for commercial use). https://huggingface.co/nvidia/Llama-3.1-Nemotron-70B-Instruct-HF
Comment il est classé
Étiquettes que le ensemble de données source applique lors du suivi de modèles notables, et à quel point il est confiant dans l'entrée.
- Probablement au-dessus de 10²³ FLOP
- Yes
- Pourquoi c'est suivi
- SOTA improvement
- Confiance d'enregistrement
- Confident
"As of 1 Oct 2024, Llama-3.1-Nemotron-70B-Instruct performs best on Arena Hard, AlpacaEval 2 LC (verified tab) and MT Bench (GPT-4-Turbo)"
Sources
D'où vient cet enregistrement et quand a-t-il été vérifié pour la dernière fois.
- Référence
- https://www.semanticscholar.org/paper/HelpSteer2%3A-Open-source-dataset-for-training-reward-Wang-Dong/f590d8926dd12345a3bd22253461850f5ca4b3ed
- Dernière mise à jour
- 28 November 2025
Ce que les chiffres signifient
Ce que ce modèle est
Llama-3.1-Nemotron-70B-Instruct a été publié par NVIDIA,Meta AI, dans le pays enregistré comme United States of America, durant June 2024. La catégorie à laquelle appartient l'éditeur est industry,Industry.
Il fonctionne dans le domaine de Language, et est enregistré comme exécutant la tâche de language modeling.
Plutôt que d'être entraîné depuis le début, il est dérivé de Llama 3.1-70B. C'est la façon habituelle de produire un modèle spécialisé.
Parce que ses poids ont été publiés, rien sur son exécution ne dépend d'un fournisseur restant disponible — il est à vous une fois téléchargé. Sur Hugging Face, il est publié sous l'organisation nvidia.
Entraînement et provenance
La production a nécessité des calculs totalisant environ 7.9 × 10²⁴ FLOP. Ce chiffre mesure le coût de production du modèle, et n'a aucune incidence sur la vitesse de réponse.
La raison pour laquelle il apparaît dans ce catalogue. sOTA improvement.
Réponses
Llama-3.1-Nemotron-70B-Instruct — questions courantes
Llama-3.1-Nemotron-70B-Instruct— Quelle GPU ai-je besoin pour l'exécuter ?
Nous ne pouvons pas dire. Il a des poids ouverts, mais aucun compte de paramètres n'a été publié pour cela, et chaque calcul de mémoire et de vitesse part de ce nombre. Nous préférerions ne rien montrer plutôt qu'une estimation fabriquée.
Llama-3.1-Nemotron-70B-Instruct— est-ce que c'est open source ?
Ses poids sont publiés, donc il peut être téléchargé et exécuté sur votre propre matériel. Notez que les poids ouverts ne sont pas la même chose que l'open source au sens plein — cela ne dit rien sur les données d'entraînement, le code d'entraînement ou les conditions commerciales attachées.
Llama-3.1-Nemotron-70B-Instruct— combien de paramètres cela a-t-il ?
Aucun nombre de paramètres n'a été publié pour cela, c'est pourquoi aucun chiffre de mémoire ou de vitesse n'apparaît sur cette page.
Llama-3.1-Nemotron-70B-Instruct— qui l'a créé ?
Il a été publié par NVIDIA,Meta AI, basé sur United States of America, une organisation catégorisée comme industry,Industry.
Llama-3.1-Nemotron-70B-Instruct— quand a-t-il été publié ?
Il a été publié dans June 2024. La capacité par paramètre s'est considérablement améliorée depuis, donc un modèle plus récent de la même taille est souvent le meilleur usage du même matériel.
Llama-3.1-Nemotron-70B-Instruct— à quoi ça sert ?
Il fonctionne dans le domaine de Language, et est enregistré comme gérant la tâche de language modeling. Les modèles portent souvent plus d'un de chacun, et les tags décrivent l'objectif plutôt que les limites de capacité.
Llama-3.1-Nemotron-70B-Instruct— où puis-je le télécharger ?
Ses poids sont publiés sur Hugging Face, sous l'organisation nvidia. Nous n'hébergeons pas de fichiers de modèle — ce site calcule le matériel nécessaire pour les faire fonctionner.
Llama-3.1-Nemotron-70B-Instruct— combien de puissance de calcul a été utilisée pour l'entraîner ?
L'entraînement a consommé environ 7.9 × 10²⁴ FLOP. Cela mesure ce que coûte la production du modèle et ne dit rien sur la rapidité avec laquelle il répond une fois entraîné — la vitesse d'inférence provient de la bande passante mémoire, et non du budget d'entraînement.
L'autre direction
Regardez-le de l'autre côté ?
Cette page commence par le modèle. Si vous possédez déjà une carte et souhaitez savoir tout ce qu'elle exécutera., commencez par le matériel à la place.