PeptideBERT
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello sono open weight, ma non è stato pubblicato alcun conteggio dei parametri. Ogni figura di memory e velocità parte da quel numero, quindi preferiremmo non mostrare nulla piuttosto che una stima fabbricata..
In registrazione
specifiche complete
Tutto in archivio per questo modello. La maggior parte descrive come è stato addestrato piuttosto che come gira — contesto utile per giudicare quanto lavoro c'è stato dietro, e come si confronta con i modelli costruiti su una scala diversa..
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Carnegie Mellon University (CMU)
- Tipo di organizzazione
- Academia
- Paese
- United States of America
- Pubblicato
- 28 August 2023
- Autori
- Chakradhar Guntuboina, Adrita Das, Parisa Mollaei, Seongwon Kim, and Amir Barati Farimani
Cosa fa
Le aree problematiche per cui è stato progettato il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Biology
- Compito
- Proteins, Protein property prediction
- Modello di base
- ProtBERT-UniRef
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono la cifra che decide se si adatta a una determinata scheda grafica.
- Dati di addestramento
- 4,160,566 tokens
- Epoche
- 30
Pretraining: 217,000,000 sequences × 100 residues = 2.17 × 10¹⁰ tokens Fine-tuning sequences: 9,316 + 29,892 + 17,185 = 56,393 sequences 56,393 × 100 residues = 5.64 × 10⁶ tokens Total tokens: 2.17 × 10¹⁰ + 5.64 × 10⁶ ≈ 2.17 × 10¹⁰
Calcolo di addestramento
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto è costato il run di addestramento, e non di quanto velocemente il modello finito ti risponde.
- Calcolo di addestramento
- 4.9 × 10¹⁶ FLOP
- Come è stato stabilito
- Hardware
- Addestramento fine
- 5 × 10¹⁶ FLOP
"Compute for fine-tuning ProtBERT: 1 NVidia GeForce GTX 1080Ti, 30 epochs, batch size 32, model trained for individual tasks with training time ranging from 58-116 minutes, assuming from Table 1 we have 244 minutes 11.34e12 FLOPs and 0.3 utilization rate FLOP = 244 min * 60 sec/min * 11.34e12 FLOP/sec *0.3 = 4.9e16 FLOP,
"Compute for fine-tuning ProtBERT: 1 NVidia GeForce GTX 1080Ti, 30 epochs, batch size 32, model trained for individual tasks with training time ranging from 58-116 minutes, assuming from Table 1 we have 244 minutes 11.34e12 FLOPs and 0.3 utilization rate FLOP = 244 min * 60 sec/min * 11.34e12 FLOP/sec *0.3 = 4.9e16 FLOP,
La corsa di addestramento
Cosa ha richiesto fisicamente per addestrare: quali chip, quanti, per quanto tempo e cosa ha prelevato dalla presa.
- Hardware di addestramento
- NVIDIA GeForce GTX 1080 Ti
- Chip utilizzati
- 1
- Chip-ore
- 4
- Tempo di parete
- 4 hours
- Consumo energetico
- 273 W
244 minues from Table 1
Disponibilità
Se puoi ottenere il modello e farlo funzionare sul tuo hardware, il che decide se alcune delle cifre della scheda grafica su questa pagina sono applicabili.
- Pesi
- Open — downloadable
- Accesso al modello
- Open weights (unrestricted)
- Codice di addestramento
- Open source
MIT (models, training, inference): https://github.com/ChakradharG/PeptideBERT
Come è classificato
Etichette del dataset sorgente si applicano quando si tracciano modelli notevoli, e quanto è sicuro nell'entry.
- Perché è monitorato
- SOTA improvement
- Record fiducia
- Confident
"Our model has achieved state of the art (SOTA) for predicting Hemolysis, which is a task for determining peptide’s potential to induce red blood cell lysis."
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- PeptideBERT: A language Model based on Transformers for Peptide Property Prediction
- Ultimo aggiornamento
- 28 November 2025
Cosa significano i numeri
Da dove è venuto
PeptideBERT è stato pubblicato da Carnegie Mellon University (CMU), nel paese registrato come United States of America, durante August 2023. La categoria sotto cui rientra l'editore è academia.
Funziona nel dominio di Biology, ed è registrato come eseguire il compito di proteins, Protein property prediction.
Costruisce su ProtBERT-UniRef. È per questo che condivide la forma e le dimensioni generali del modello base.
I pesi aperti sono ciò che mette questa pagina nel calcolatore piuttosto che solo nel catalogo: è un modello che puoi effettivamente tenere.
Addestramento e provenienza
Il training ha richiesto un budget di calcolo di circa 4.9 × 10¹⁶ FLOP, su hardware registrato come NVIDIA GeForce GTX 1080 Ti. Quella cifra misura quanto è costata la produzione del modello e non ha alcun impatto su quanto velocemente risponde.
È stato addestrato su un corpus di circa 4,160,566 token di testo
Il suo criterio di inclusione: sOTA improvement.
Risposte
PeptideBERT — domande comuni
PeptideBERT— quanto calcolo è stato utilizzato per addestrarlo?
L'addestramento ha consumato circa 4.9 × 10¹⁶ FLOP, su hardware registrato come NVIDIA GeForce GTX 1080 Ti. Questo misura quanto costa produrre il modello e non dice nulla su quanto rapidamente risponde una volta addestrato — la velocità di inferenza deriva dalla larghezza di banda della memoria, non dal budget di addestramento.
PeptideBERT— che GPU ho bisogno per eseguirlo?
Non possiamo dire. Ha pesi aperti, ma non è stato pubblicato alcun conteggio dei parametri per esso, e ogni calcolo di memoria e velocità parte da quel numero. Preferiremmo non mostrare nulla piuttosto che una stima fabbricata.
PeptideBERT— è open-source?
I suoi pesi sono pubblicati, quindi può essere scaricato e eseguito sul proprio hardware. Si noti che OPEN WEIGHTS non è lo stesso di OPEN SOURCE nel senso completo — non dice nulla sui dati di addestramento, sul codice di addestramento o sui termini commerciali allegati.
PeptideBERT— quanti parametri ha?
Non è stato pubblicato alcun conteggio dei parametri per esso, motivo per cui non appare alcun dato sulla memoria o sulla velocità su questa pagina.
PeptideBERT— chi l'ha creato?
È stato pubblicato da Carnegie Mellon University (CMU), basato su United States of America, un'organizzazione categorizzata come academia.
PeptideBERT— quando è stato rilasciato?
È stato pubblicato in August 2023. La capacità per parametro è migliorata considerevolmente da allora, quindi un modello più recente della stessa dimensione è spesso un uso migliore dello stesso hardware.
PeptideBERT— A cosa serve?
Funziona nel dominio di Biology, e viene registrato come gestire il compito di proteins, Protein property prediction. Un modello può gestire diversi di ciascuno, quindi queste sono le aree per cui è stato costruito piuttosto che un limite su ciò che tenterà.
PeptideBERT— Dove posso scaricarlo?
I pesi sono pubblicati, anche se non abbiamo un link al repository per essi. Questo sito calcola i requisiti hardware anziché ospitare file di modello.
L'altra direzione
Guardandolo dall'altro lato?
Questa pagina parte dal modello. Se possiedi già una scheda e vuoi sapere tutto ciò che farà funzionare, inizia dall'hardware invece.