PeptideBERT
Nincs becslés
Nincs hardver követelmény ennek a modellnek
Ez a modell súlyai nyilvánosak, de a paraméterszámokat nem tették közzé. Minden memória- és sebességszám ebből a számból indul, ezért inkább nem mutatunk semmit, mint egy hamisított becslést..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Carnegie Mellon University (CMU)
- Szervezet típusa
- Academia
- Ország
- United States of America
- Közölt
- 28 August 2023
- Szerzők
- Chakradhar Guntuboina, Adrita Das, Parisa Mollaei, Seongwon Kim, and Amir Barati Farimani
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Biology
- Feladat
- Proteins, Protein property prediction
- Alapmodell
- ProtBERT-UniRef
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Képzési adatok
- 4,160,566 tokens
- Epochok
- 30
Pretraining: 217,000,000 sequences × 100 residues = 2.17 × 10¹⁰ tokens Fine-tuning sequences: 9,316 + 29,892 + 17,185 = 56,393 sequences 56,393 × 100 residues = 5.64 × 10⁶ tokens Total tokens: 2.17 × 10¹⁰ + 5.64 × 10⁶ ≈ 2.17 × 10¹⁰
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 4.9 × 10¹⁶ FLOP
- Hogyan jött létre
- Hardware
- Finomhangolás számítás
- 5 × 10¹⁶ FLOP
"Compute for fine-tuning ProtBERT: 1 NVidia GeForce GTX 1080Ti, 30 epochs, batch size 32, model trained for individual tasks with training time ranging from 58-116 minutes, assuming from Table 1 we have 244 minutes 11.34e12 FLOPs and 0.3 utilization rate FLOP = 244 min * 60 sec/min * 11.34e12 FLOP/sec *0.3 = 4.9e16 FLOP,
"Compute for fine-tuning ProtBERT: 1 NVidia GeForce GTX 1080Ti, 30 epochs, batch size 32, model trained for individual tasks with training time ranging from 58-116 minutes, assuming from Table 1 we have 244 minutes 11.34e12 FLOPs and 0.3 utilization rate FLOP = 244 min * 60 sec/min * 11.34e12 FLOP/sec *0.3 = 4.9e16 FLOP,
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA GeForce GTX 1080 Ti
- Használt chipek
- 1
- Chip-óra
- 4
- Fali óra idő
- 4 hours
- Teljesítményfogyasztás
- 273 W
244 minues from Table 1
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Open — downloadable
- Modell hozzáférés
- Open weights (unrestricted)
- Képzés kód
- Open source
MIT (models, training, inference): https://github.com/ChakradharG/PeptideBERT
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Confident
"Our model has achieved state of the art (SOTA) for predicting Hemolysis, which is a task for determining peptide’s potential to induce red blood cell lysis."
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- PeptideBERT: A language Model based on Transformers for Peptide Property Prediction
- Utoljára frissítve
- 28 November 2025
Mit jelentenek a számok
Honnan jött
PeptideBERT ki lett adva által Carnegie Mellon University (CMU), az országban rögzítve mint United States of America, alatt August 2023. A kiadó kategóriája alá tartozik academia.
Működik a területen a Biology, és úgy van rögzítve, mint a feladat végrehajtása proteins, Protein property prediction.
Ez alapoz. ProtBERT-UniRef. Ezért osztja a bázismodell általános formáját és méretét.
A nyílt súlyok az okai annak, hogy ez az oldal a kalkulátorban van, és nem csak a katalógusban: ez egy olyan modell, amit valójában meg tudsz tartani.
Képzés és származás
A betanításhoz körülbelül egy számítási költségvetés kellett 4.9 × 10¹⁶ FLOP, hardveren rögzítve NVIDIA GeForce GTX 1080 Ti. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Körülbelül egy korpuszon lett betanítva 4,160,566 szöveg tokenjei
A kiválasztási kritériuma: sOTA improvement.
Válaszok
PeptideBERT — gyakori kérdések
PeptideBERT— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 4.9 × 10¹⁶ FLOP, hardveren rögzítve NVIDIA GeForce GTX 1080 Ti. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
PeptideBERT— Milyen GPU-ra van szükségem, hogy futtathassam?
Nem tudjuk megmondani. Nyílt súlyai vannak, de a paraméterek számát nem tették közzé, és minden memória- és sebességszámítás ebből a számból indul. Inkább nem mutatunk semmit, mint egy hamisított becslést.
PeptideBERT— Nyílt forráskódú?
Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.
PeptideBERT— Hány paramétere van?
Nincs közzétéve paraméterszám, ezért ez az oldal nem tartalmaz memóriával vagy sebességgel kapcsolatos adatokat.
PeptideBERT— Ki készítette ezt?
Kiadta Carnegie Mellon University (CMU), alapján United States of America, egy szervezet, amelyet kategorizáltak mint academia.
PeptideBERT— Mikor adták ki?
Kibocsátották a August 2023. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
PeptideBERT— Mire használják?
Működik a területen a Biology, és rögzítve van, hogy kezeli a feladatot proteins, Protein property prediction. A modell több mindenből is képes cipelni, így ezek azok a területek, amelyekre épült, nem pedig egy korlát arra, amit meg fog próbálni.
PeptideBERT— Hol tudom letölteni?
A súlyok közzététele megtörtént, bár nem rendelkezünk tárolólinkkel erre. Ez az oldal a hardverkövetelményeket számítja ki, nem pedig modellfájlokat tárol.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..