RoBERTa (PFAM)
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello sono open weight, ma non è stato pubblicato alcun conteggio dei parametri. Ogni figura di memory e velocità parte da quel numero, quindi preferiremmo non mostrare nulla piuttosto che una stima fabbricata..
In registrazione
specifiche complete
Tutto in archivio per questo modello. La maggior parte descrive come è stato addestrato piuttosto che come gira — contesto utile per giudicare quanto lavoro c'è stato dietro, e come si confronta con i modelli costruiti su una scala diversa..
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- IBM Research,ETH Zurich
- Tipo di organizzazione
- Industry,Academia
- Paese
- United States of America, Switzerland
- Pubblicato
- 5 December 2020
- Autori
- Modestas Filipavicius, Matteo Manica, Joris Cadow, Maria Rodriguez Martinez
Cosa fa
Le aree problematiche per cui è stato progettato il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Biology
- Compito
- Protein or nucleotide language model (pLM/nLM)
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono la cifra che decide se si adatta a una determinata scheda grafica.
- Dati di addestramento
- tokens
- Epoche
- 2
31M sequences with an estiamted length of 300: 31M*300=9300000000
Calcolo di addestramento
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto è costato il run di addestramento, e non di quanto velocemente il modello finito ti risponde.
- Calcolo di addestramento
- 1.2 × 10¹⁹ FLOP
- Come è stato stabilito
- Operation counting
1. Hardware: 4x NVIDIA Tesla P100 SXM2 GPUs (18.7 TFLOP/s per GPU in FP16) The architecture is based on Bert-base, with 110M parameters 6*9300000000*2*110000000=1.2276e+19
La corsa di addestramento
Cosa ha richiesto fisicamente per addestrare: quali chip, quanti, per quanto tempo e cosa ha prelevato dalla presa.
- Hardware di addestramento
- NVIDIA P100
- Chip utilizzati
- 4
- Consumo energetico
- 2.0 kW
Disponibilità
Se puoi ottenere il modello e farlo funzionare sul tuo hardware, il che decide se alcune delle cifre della scheda grafica su questa pagina sono applicabili.
- Pesi
- Open — downloadable
- Accesso al modello
- Open weights (unrestricted)
- Codice di addestramento
- Open source
MIT license https://github.com/PaccMann/paccmann_proteomics
Come è classificato
Etichette del dataset sorgente si applicano quando si tracciano modelli notevoli, e quanto è sicuro nell'entry.
- Record fiducia
- Likely
- Citazioni
- 19
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- Pre-training Protein Language Models with Label-Agnostic Binding Pairs Enhances Performance in Downstream Tasks
- Ultimo aggiornamento
- 11 February 2026
Cosa significano i numeri
Informazioni su questo modello
RoBERTa (PFAM) è stato pubblicato da IBM Research,ETH Zurich, nel paese registrato come United States of America, durante December 2020. L'organizzazione di pubblicazione è classificata come industry,Academia.
Funziona nel dominio di Biology, ed è registrato come eseguire il compito di protein or nucleotide language model (pLM/nLM).
I pesi sono pubblicati, quindi possono essere scaricati e eseguiti sul proprio hardware indefinitamente, offline, senza un account associato.
Addestramento e provenienza
Il run di addestramento ha consumato circa 1.2 × 10¹⁹ FLOP, su hardware registrato come NVIDIA P100. Quella cifra misura quanto è costata la produzione del modello e non ha alcun impatto su quanto velocemente risponde.
Risposte
RoBERTa (PFAM) — domande comuni
RoBERTa (PFAM)— chi l'ha creato?
È stato pubblicato da IBM Research,ETH Zurich, basato su United States of America, un'organizzazione categorizzata come industry,Academia.
RoBERTa (PFAM)— quando è stato rilasciato?
È stato pubblicato in December 2020. La capacità per parametro è migliorata considerevolmente da allora, quindi un modello più recente della stessa dimensione è spesso un uso migliore dello stesso hardware.
RoBERTa (PFAM)— A cosa serve?
Funziona nel dominio di Biology, e viene registrato come gestire il compito di protein or nucleotide language model (pLM/nLM). Un modello può gestire diversi di ciascuno, quindi queste sono le aree per cui è stato costruito piuttosto che un limite su ciò che tenterà.
RoBERTa (PFAM)— Dove posso scaricarlo?
I pesi sono pubblicati, anche se non abbiamo un link al repository per essi. Questo sito calcola i requisiti hardware anziché ospitare file di modello.
RoBERTa (PFAM)— quanto calcolo è stato utilizzato per addestrarlo?
L'addestramento ha consumato circa 1.2 × 10¹⁹ FLOP, su hardware registrato come NVIDIA P100. Questo misura quanto costa produrre il modello e non dice nulla su quanto rapidamente risponde una volta addestrato — la velocità di inferenza deriva dalla larghezza di banda della memoria, non dal budget di addestramento.
RoBERTa (PFAM)— che GPU ho bisogno per eseguirlo?
Non possiamo dire. Ha pesi aperti, ma non è stato pubblicato alcun conteggio dei parametri per esso, e ogni calcolo di memoria e velocità parte da quel numero. Preferiremmo non mostrare nulla piuttosto che una stima fabbricata.
RoBERTa (PFAM)— è open-source?
I suoi pesi sono pubblicati, quindi può essere scaricato e eseguito sul proprio hardware. Si noti che OPEN WEIGHTS non è lo stesso di OPEN SOURCE nel senso completo — non dice nulla sui dati di addestramento, sul codice di addestramento o sui termini commerciali allegati.
RoBERTa (PFAM)— quanti parametri ha?
Non è stato pubblicato alcun conteggio dei parametri per esso, motivo per cui non appare alcun dato sulla memoria o sulla velocità su questa pagina.
L'altra direzione
Guardandolo dall'altro lato?
Questa pagina parte dal modello. Se possiedi già una scheda e vuoi sapere tutto ciò che farà funzionare, inizia dall'hardware invece.