MoLFormer-XL
Nincs becslés
Nincs hardver követelmény ennek a modellnek
Ez a modell súlyai nyilvánosak, de a paraméterszámokat nem tették közzé. Minden memória- és sebességszám ebből a számból indul, ezért inkább nem mutatunk semmit, mint egy hamisított becslést..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- IBM
- Szervezet típusa
- Industry
- Ország
- United States of America
- Közölt
- 25 January 2023
- Szerzők
- Jerret Ross, Brian Belgodere, Vijil Chenthamarakshan, Inkit Padhi, Youssef Mroueh, Payel Das
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Biology
- Feladat
- Protein generation, Protein folding prediction
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Képzési adatok
- tokens
- Epochok
- 4
"MoLFormer-XL has been pretrained on 1.1 billion molecules represented as machine-readable strings of text." 15K steps "PubChem+ZINC (>1 billion data points) datasets" mean token amount (table 4 from supplementary materials): 44.76 44.76*1.1*10^9 = 49236000000 tokens
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 4.5 × 10²⁰ FLOP
- Hogyan jött létre
- Hardware
125000000000000 FLOP / GPU / sec *(208 hours * 16 GPUs +1 GPU * 12 hours) [see training time notes] * 3600 sec / hour * 0.3 [assumed utilization] = 4.509e+20 FLOP
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA V100
- Használt chipek
- 16
- Fali óra idő
- 208 hours (8.7 days)
- Teljesítményfogyasztás
- 9.6 kW
"Together, both techniques raised our per-GPU processing costs from 50 molecules to 1,600 molecules, allowing us to get away with 16 GPUs instead of 1,000. By eliminating hundreds of unnecessary GPUs, we consumed 61 times less energy and still had a trained model in five days. " "Our pretraining task consists of training on the full dataset to 4 epochs. Training a single epoch of just PubChem on a single NVIDIA V100 GPU would take approximately 60 hours. Utilizing Distributed Data Parallel, pre…
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Open — downloadable
- Modell hozzáférés
- Open weights (unrestricted)
- Képzés kód
- Open source
Python codes for MoLFormer training and fine-tuning, and Python notebooks for MoLFormer attention visualization, as well as instances of pretrained models, are available at https://github.com/IBM/molformer. Apache 2.0
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Nyilvántartási bizalom
- Confident
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- An AI foundation model that learns the grammar of molecules
- Utoljára frissítve
- 28 November 2025
Mit jelentenek a számok
Erről a modelről
MoLFormer-XL ki lett adva által IBM, az országban rögzítve mint United States of America, alatt January 2023. Egy olyan szervezetből származik, amelyet kategorizálnak mint industry.
Működik a területen a Biology, és úgy van rögzítve, mint a feladat végrehajtása protein generation, Protein folding prediction.
A nyílt súlyok az okai annak, hogy ez az oldal a kalkulátorban van, és nem csak a katalógusban: ez egy olyan modell, amit valójában meg tudsz tartani.
Képzés és származás
A képzés futás körülbelül 4.5 × 10²⁰ FLOP, hardveren rögzítve NVIDIA V100. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Válaszok
MoLFormer-XL — gyakori kérdések
MoLFormer-XL— Mire használják?
Működik a területen a Biology, és rögzítve van, hogy kezeli a feladatot protein generation, Protein folding prediction. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
MoLFormer-XL— Hol tudom letölteni?
A súlyok közzététele megtörtént, bár nem rendelkezünk tárolólinkkel erre. Ez az oldal a hardverkövetelményeket számítja ki, nem pedig modellfájlokat tárol.
MoLFormer-XL— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 4.5 × 10²⁰ FLOP, hardveren rögzítve NVIDIA V100. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
MoLFormer-XL— Milyen GPU-ra van szükségem, hogy futtathassam?
Nem tudjuk megmondani. Nyílt súlyai vannak, de a paraméterek számát nem tették közzé, és minden memória- és sebességszámítás ebből a számból indul. Inkább nem mutatunk semmit, mint egy hamisított becslést.
MoLFormer-XL— Nyílt forráskódú?
Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.
MoLFormer-XL— Hány paramétere van?
Nincs közzétéve paraméterszám, ezért ez az oldal nem tartalmaz memóriával vagy sebességgel kapcsolatos adatokat.
MoLFormer-XL— Ki készítette ezt?
Kiadta IBM, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry.
MoLFormer-XL— Mikor adták ki?
Kibocsátották a January 2023. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..