PeptideBERT
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello sono aperti, ma nessun conteggio dei parametri è stato pubblicato. Ogni dato sulla memoria e sulla velocità parte da quel numero, quindi preferiamo non mostrare nulla piuttosto che una stima inventata.
In registrazione
Specifiche complete
Tutto ciò che riguarda questo modello. La maggior parte delle informazioni descrive come è stato addestrato piuttosto che come viene eseguito — un contesto utile per valutare la quantità di lavoro impiegata e come si confronta con modelli realizzati su scala diversa.
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Carnegie Mellon University (CMU)
- Tipo di organizzazione
- Academia
- Paese
- United States of America
- Pubblicato
- 28 August 2023
- Autori
- Chakradhar Guntuboina, Adrita Das, Parisa Mollaei, Seongwon Kim, and Amir Barati Farimani
Cosa fa
Le aree problematiche per cui è stato costruito il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Biology
- Compito
- Proteins, Protein property prediction
- Modello di base
- ProtBERT-UniRef
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono il valore che decide se si adatta a una determinata scheda grafica.
- Dati di addestramento
- 4,160,566 tokens
- Epoche
- 30
Pretraining: 217,000,000 sequences × 100 residues = 2.17 × 10¹⁰ tokens Fine-tuning sequences: 9,316 + 29,892 + 17,185 = 56,393 sequences 56,393 × 100 residues = 5.64 × 10⁶ tokens Total tokens: 2.17 × 10¹⁰ + 5.64 × 10⁶ ≈ 2.17 × 10¹⁰
Addestramento computazionale
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto costato l'addestramento, non di quanto velocemente il modello finito ti risponde.
- Addestramento computazionale
- 4.9 × 10¹⁶ FLOP
- Come è stato stabilito
- Hardware
- Fine-tuning compute
- 5 × 10¹⁶ FLOP
"Compute for fine-tuning ProtBERT: 1 NVidia GeForce GTX 1080Ti, 30 epochs, batch size 32, model trained for individual tasks with training time ranging from 58-116 minutes, assuming from Table 1 we have 244 minutes 11.34e12 FLOPs and 0.3 utilization rate FLOP = 244 min * 60 sec/min * 11.34e12 FLOP/sec *0.3 = 4.9e16 FLOP,
"Compute for fine-tuning ProtBERT: 1 NVidia GeForce GTX 1080Ti, 30 epochs, batch size 32, model trained for individual tasks with training time ranging from 58-116 minutes, assuming from Table 1 we have 244 minutes 11.34e12 FLOPs and 0.3 utilization rate FLOP = 244 min * 60 sec/min * 11.34e12 FLOP/sec *0.3 = 4.9e16 FLOP,
Il training run
Cosa è stato fisicamente necessario per addestrare: quali chip, quanti, per quanto tempo e cosa ha richiesto dalla rete elettrica.
- Hardware di addestramento
- NVIDIA GeForce GTX 1080 Ti
- Chips used
- 1
- Chip-hours
- 4
- Tempo di orologio muro
- 4 hours
- Consumo energetico
- 273 W
244 minues from Table 1
Disponibilità
Se puoi ottenere il modello e eseguirlo sul tuo hardware, il che decide se una delle cifre della scheda grafica su questa pagina si applica.
- Pesi
- Open — downloadable
- Accesso al modello
- Open weights (unrestricted)
- Codice di addestramento
- Open source
MIT (models, training, inference): https://github.com/ChakradharG/PeptideBERT
Come è classificato
Etichette che il dataset sorgente applica quando si monitorano modelli notevoli e quanto è fiducioso nell'entry.
- Perché viene tracciato
- SOTA improvement
- Registrare fiducia
- Confident
"Our model has achieved state of the art (SOTA) for predicting Hemolysis, which is a task for determining peptide’s potential to induce red blood cell lysis."
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- PeptideBERT: A language Model based on Transformers for Peptide Property Prediction
- Ultimo aggiornamento
- 28 November 2025
Cosa significano i numeri
Where it came from
PeptideBERT was published by Carnegie Mellon University (CMU), in United States of America, in August 2023. academia is the category the publisher falls under.
It works in Biology, and is recorded as doing proteins, Protein property prediction.
It builds on ProtBERT-UniRef, which is why it shares that model's general shape and size.
I pesi aperti sono ciò che mette questa pagina nel calcolatore piuttosto che solo nel catalogo: è un modello che puoi effettivamente tenere.
Formazione e provenienza
Training it took roughly 4.9 × 10¹⁶ FLOP of computation, on NVIDIA GeForce GTX 1080 Ti — a measure of what producing the model cost, not of how fast it answers.
It was trained on about 4,160,566 tokens of text.
Its inclusion criterion is sOTA improvement.
Risposte
PeptideBERT — Domande frequenti
How much compute was used to train PeptideBERT?
Around 4.9 × 10¹⁶ FLOP, on NVIDIA GeForce GTX 1080 Ti. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run PeptideBERT?
We cannot say. PeptideBERT has open weights, but no parameter count has been published for it, and every memory and speed calculation starts from that number. We would rather show nothing than a fabricated estimate.
Is PeptideBERT open source?
Its weights are published, so PeptideBERT can be downloaded and run on your own hardware. Note that open weights is not the same as open source in the full sense — it says nothing about the training data, the training code, or the commercial terms attached.
How many parameters does PeptideBERT have?
No parameter count has been published for PeptideBERT, which is why no memory or speed figure appears on this page.
Who created PeptideBERT?
PeptideBERT was published by Carnegie Mellon University (CMU), based in United States of America, categorised as academia.
When was PeptideBERT released?
PeptideBERT was published in August 2023. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is PeptideBERT used for?
PeptideBERT works in Biology, and is recorded as handling proteins, Protein property prediction. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
Where can I download PeptideBERT?
The weights for PeptideBERT are published, though we do not hold a repository link for it. This site calculates hardware requirements rather than hosting model files.
L'altra direzione
Guardando la questione dall'altra parte?
Questa pagina inizia dal modello. Se possedete già una scheda e desiderate conoscere tutto ciò che può eseguire, inizia dall'hardware invece.