OmegaPLM
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Massachusetts Institute of Technology (MIT),Westlake University
- Szervezet típusa
- Academia,Academia
- Ország
- United States of America, China
- Közölt
- 22 July 2022
- Szerzők
- Ruidong Wu, Fan Ding, Rui Wang, Rui Shen, Xiwen Zhang, Shitong Luo, Chenpeng Su, Zuofan Wu, Qi Xie, Bonnie Berger, Jianzhu Ma, Jian Peng
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Biology
- Feladat
- Proteins, Protein folding prediction
- Numerikus formátum
- TF32
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 670M
- Képzési adatok
- 1,258,291,200,000 tokens
- Tételméret
- 2,097,152
"Our model contains 66 layers with around 670 million parameters without sharing parameters, which doubles the layer count of ESM-1b but roughly retains the parameter count."
Number of sequences: 35 x 10^6 Sequence length: 512 Total data points: 35 x 10^6 x 512 = 1.792 x 10^10 tokens First stage crop size: 256 First stage data points: 35 x 10^6 x 256 = 8.96 x 10^9 tokens Additional structural data: ~110,000 sequences = 7.68 x 10^7 tokens Final estimate: 8.96 x 10^9 tokens
"[...] each batch contains 4,096 sequences and each sequence is padded or cropped to 512 residues" 4096 * 512 = 2097152
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 1 × 10²² FLOP
- Hogyan jött létre
- Hardware
"OmegaPLM is implemented in PyTorch (44) and trained for 2,560 GPU Nvidia A100 80G days." "Default precision format in Nvidia A100 GPUs is set to TensorFloat-32 for matrix operations." Assume 0.3 utilization for language model Estimate: (2560 * 24 * 3600) s * 156e12 FLOP/s * 0.3 * = 1.04e22
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA A100 SXM4 80 GB
- Chip-óra
- 61,440
- Számítási költség
- $52,400
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Unreleased
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Miért követik nyomon
- Historical significance
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 445
"Here, we introduce OmegaFold, the first computational method to successfully predict high-resolution protein structure from a single primary sequence alone. Using a new combination of a protein language model that allows us to make predictions from single sequences and a geometry-inspired transformer model trained on protein structures, OmegaFold outperforms RoseTTAFold and achieves similar prediction accuracy to AlphaFold2 on recently released structures"
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- High-resolution de novo structure prediction from primary sequence
- Utoljára frissítve
- 1 January 2026
Mit jelentenek a számok
Erről a modelről
OmegaPLM ki lett adva által Massachusetts Institute of Technology (MIT),Westlake University, az országban rögzítve mint United States of America, alatt July 2022. A kiadó szervezet a következő kategóriába tartozik academia,Academia.
Működik a területen a Biology, és úgy van rögzítve, mint a feladat végrehajtása proteins, Protein folding prediction.
Ez egy zárt modell: a betanított értékek azoknál maradtak, akik előállították őket, és nincs helyi verzió a futtatáshoz.
Mi került a felépítésébe
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 1 × 10²² FLOP, hardveren rögzítve NVIDIA A100 SXM4 80 GB. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Körülbelül egy korpuszon lett betanítva 1,258,291,200,000 szöveg tokenjei
Az oka, hogy egyáltalán megjelenik ebben a katalógusban: historical significance.
Válaszok
OmegaPLM — gyakori kérdések
OmegaPLM— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 1 × 10²² FLOP, hardveren rögzítve NVIDIA A100 SXM4 80 GB. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
OmegaPLM— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
OmegaPLM— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
OmegaPLM— Hány paramétere van?
Paraméterszáma 670M. "Our model contains 66 layers with around 670 million parameters without sharing parameters, which doubles the layer count of ESM-1b but roughly retains the parameter count.". Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
OmegaPLM— Ki készítette ezt?
Kiadta Massachusetts Institute of Technology (MIT),Westlake University, alapján United States of America, egy szervezet, amelyet kategorizáltak mint academia,Academia.
OmegaPLM— Mikor adták ki?
Kibocsátották a July 2022. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
OmegaPLM— Mire használják?
Működik a területen a Biology, és rögzítve van, hogy kezeli a feladatot proteins, Protein folding prediction. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..