PeptideBERT
Aucune estimation
Aucun besoin matériel pour ce modèle
Les poids de ce modèle sont ouverts, mais aucun nombre de paramètres n'a été publié à son sujet. Chaque chiffre de mémoire et de vitesse part de ce nombre, nous préférerions donc ne rien afficher plutôt qu'une estimation fabriquée.
Enregistrement terminé
Spécification complète
Tout ce qui concerne ce modèle. La plupart décrit comment il a été entraîné plutôt que comment il fonctionne — contexte utile pour évaluer le travail fourni et sa comparaison avec des modèles construits à une échelle différente.
Origine
Qui a construit ce modèle, où et quand il a été publié.
- Organisation
- Carnegie Mellon University (CMU)
- Type d'organisation
- Academia
- Pays
- United States of America
- Publié
- 28 August 2023
- Auteurs
- Chakradhar Guntuboina, Adrita Das, Parisa Mollaei, Seongwon Kim, and Amir Barati Farimani
Ce qu'il fait
Les domaines problématiques pour lesquels le modèle a été conçu. Un modèle peut en porter plusieurs de chacun.
- Domaine
- Biology
- Tâche
- Proteins, Protein property prediction
- Modèle de base
- ProtBERT-UniRef
Taille
Quelle est la taille du modèle et combien de données il a été formé. Les paramètres sont le chiffre qui détermine s'il tient sur une carte graphique donnée.
- Données d'entraînement
- 4,160,566 tokens
- Époques
- 30
Pretraining: 217,000,000 sequences × 100 residues = 2.17 × 10¹⁰ tokens Fine-tuning sequences: 9,316 + 29,892 + 17,185 = 56,393 sequences 56,393 × 100 residues = 5.64 × 10⁶ tokens Total tokens: 2.17 × 10¹⁰ + 5.64 × 10⁶ ≈ 2.17 × 10¹⁰
Calcul de formation
L'arithmétique effectuée pour entraîner le modèle, mesurée en opérations à virgule flottante. C'est une mesure du coût de l'exécution de l'entraînement, et non de la rapidité avec laquelle le modèle fini vous répond.
- Calcul de formation
- 4.9 × 10¹⁶ FLOP
- Comment cela a été établi
- Hardware
- Ajustement fin du calcul
- 5 × 10¹⁶ FLOP
"Compute for fine-tuning ProtBERT: 1 NVidia GeForce GTX 1080Ti, 30 epochs, batch size 32, model trained for individual tasks with training time ranging from 58-116 minutes, assuming from Table 1 we have 244 minutes 11.34e12 FLOPs and 0.3 utilization rate FLOP = 244 min * 60 sec/min * 11.34e12 FLOP/sec *0.3 = 4.9e16 FLOP,
"Compute for fine-tuning ProtBERT: 1 NVidia GeForce GTX 1080Ti, 30 epochs, batch size 32, model trained for individual tasks with training time ranging from 58-116 minutes, assuming from Table 1 we have 244 minutes 11.34e12 FLOPs and 0.3 utilization rate FLOP = 244 min * 60 sec/min * 11.34e12 FLOP/sec *0.3 = 4.9e16 FLOP,
L'entraînement
Ce qu'il a physiquement fallu pour entraîner : quels puces, combien, pendant combien de temps, et ce que cela a tiré du mur.
- Matériel d'entraînement
- NVIDIA GeForce GTX 1080 Ti
- Chips utilisés
- 1
- Heures de puce
- 4
- Wall-clock time
- 4 hours
- Consommation d'énergie
- 273 W
244 minues from Table 1
Disponibilité
Que vous puissiez obtenir le modèle et l'exécuter sur votre propre matériel, ce qui décide si l'une des chiffres de carte graphique sur cette page s'applique.
- Poids
- Open — downloadable
- Accès au modèle
- Open weights (unrestricted)
- Code d'entraînement
- Open source
MIT (models, training, inference): https://github.com/ChakradharG/PeptideBERT
Comment il est classé
Étiquettes que le jeu de données source applique lors du suivi des modèles notables, et à quel point il est confiant dans l'entrée.
- Pourquoi c'est suivi
- SOTA improvement
- Confiance d'enregistrement
- Confident
"Our model has achieved state of the art (SOTA) for predicting Hemolysis, which is a task for determining peptide’s potential to induce red blood cell lysis."
Sources
D'où provient cet enregistrement et quand a-t-il été vérifié pour la dernière fois.
- Référence
- PeptideBERT: A language Model based on Transformers for Peptide Property Prediction
- Dernière mise à jour
- 28 November 2025
Ce que signifient les chiffres
Where it came from
PeptideBERT was published by Carnegie Mellon University (CMU), in United States of America, in August 2023. academia is the category the publisher falls under.
It works in Biology, and is recorded as doing proteins, Protein property prediction.
It builds on ProtBERT-UniRef, which is why it shares that model's general shape and size.
Le fait que les poids soient ouverts est ce qui place cette page dans la calculatrice plutôt que seulement dans le catalogue : c'est un modèle que vous pouvez réellement tenir.
Entraînement et provenance
Training it took roughly 4.9 × 10¹⁶ FLOP of computation, on NVIDIA GeForce GTX 1080 Ti — a measure of what producing the model cost, not of how fast it answers.
It was trained on about 4,160,566 tokens of text.
Its inclusion criterion is sOTA improvement.
Réponses
PeptideBERT — Questions fréquentes
How much compute was used to train PeptideBERT?
Around 4.9 × 10¹⁶ FLOP, on NVIDIA GeForce GTX 1080 Ti. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run PeptideBERT?
We cannot say. PeptideBERT has open weights, but no parameter count has been published for it, and every memory and speed calculation starts from that number. We would rather show nothing than a fabricated estimate.
Is PeptideBERT open source?
Its weights are published, so PeptideBERT can be downloaded and run on your own hardware. Note that open weights is not the same as open source in the full sense — it says nothing about the training data, the training code, or the commercial terms attached.
How many parameters does PeptideBERT have?
No parameter count has been published for PeptideBERT, which is why no memory or speed figure appears on this page.
Who created PeptideBERT?
PeptideBERT was published by Carnegie Mellon University (CMU), based in United States of America, categorised as academia.
When was PeptideBERT released?
PeptideBERT was published in August 2023. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is PeptideBERT used for?
PeptideBERT works in Biology, and is recorded as handling proteins, Protein property prediction. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
Where can I download PeptideBERT?
The weights for PeptideBERT are published, though we do not hold a repository link for it. This site calculates hardware requirements rather than hosting model files.
Dans l'autre sens
Regardez-la de l'autre côté ?
Cette page commence par le modèle. Si vous possédez déjà une carte et souhaitez connaître tout ce qu'elle pourra exécuter, commencez plutôt par le matériel.