MedBERT
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Peng Cheng Laboratory,University of Texas at Houston
- Szervezet típusa
- Academia,Academia
- Ország
- China, United States of America
- Közölt
- 20 May 2021
- Szerzők
- Laila Rasmy, Yang Xiang, Ziqian Xie, Cui Tao, Degui Zhi
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Medicine
- Feladat
- Medical diagnosis, Text classification, Prediction of hospital stay duration, Prediction of diabetic heart failure (DHF), Prediction of onset of pancreatic cancer (PaCa)
- Numerikus formátum
- FP32
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 17M
- Képzési adatok
- 14,587,212,800 tokens
- Epochok
- 50.5
17M from "This is possibly due to the fact that the untrained Med-BERT is an over-parameterized model (around 17 million parameters) with a huge number of configurations, so it might overfit to the training data"
data about 28M patients "Our pretraining cohort for Med-BERT is consisting of 28 million patients extracted from Cerner"
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 9.5 × 10¹⁸ FLOP
- Hogyan jött létre
- Hardware
flops = (1) * (3.13e13) * (24*7 * 3600) * (0.5) = 9.47e18 (num gpu) * (peak flops) * (time in seconds) * (assumed utilization rate) I assume higher utilization rate, because only 1 GPU is used. Citation from the text: "We used a single Nvidia Tesla V100GPU of 32 GB graphics memory capacity, and we trained the model for a week for more than 45 million steps, for which each step consists of 32 patients (batch size)." - page 11 Note that public code appears not to make use of the tensor core speed…
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA Tesla V100 DGXS 32 GB
- Használt chipek
- 1
- Chip-óra
- 168
- Fali óra idő
- 168 hours (7 days)
- Teljesítményfogyasztás
- 278 W
- Számítási költség
- $62
"We used a single Nvidia Tesla V100GPU of 32 GB graphics memory capacity, and we trained the model for a week for more than 45 million steps, for which each step consists of 32 patients (batch size)." - page 11
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Open source
Apache 2 https://github.com/ZhiGroup/Med-BERT training guide: https://github.com/ZhiGroup/Med-BERT/tree/master/Pretraining%20Code "Initially we really hoped to share our models but unfortunately, the pre-trained models are no longer sharable. According to SBMI Data Service Office: "Under the terms of our contracts with data vendors, we are not permitted to share any of the data utilized in our publications, as well as large models derived from those data."
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Likely
- Hivatkozások
- 835
"This work is the first demonstration of significantly boosted performance over state-of-the-art methods on multiple clinical tasks with phenotyped cohorts." Table 4
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Med-BERT: pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction
- Utoljára frissítve
- 1 January 2026
Mit jelentenek a számok
Erről a modelről
MedBERT ki lett adva által Peng Cheng Laboratory,University of Texas at Houston, az országban rögzítve mint China, alatt May 2021. A kiadó kategóriája alá tartozik academia,Academia.
Működik a területen a Medicine, és úgy van rögzítve, mint a feladat végrehajtása medical diagnosis, Text classification, Prediction of hospital stay duration, Prediction of diabetic heart failure (DHF), Prediction of onset of pancreatic cancer (PaCa).
Ez egy zárt modell: a betanított értékek azoknál maradtak, akik előállították őket, és nincs helyi verzió a futtatáshoz.
Hogyan lett betanítva
A betanításhoz körülbelül egy számítási költségvetés kellett 9.5 × 10¹⁸ FLOP, hardveren rögzítve NVIDIA Tesla V100 DGXS 32 GB. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A képzés körülbelül egy korpuszt fogyasztott 14,587,212,800 szöveg tokenjei
Az oka, hogy egyáltalán megjelenik ebben a katalógusban: sOTA improvement.
Válaszok
MedBERT — gyakori kérdések
MedBERT— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
MedBERT— Hány paramétere van?
Paraméterszáma 17M. 17M from "This is possibly due to the fact that the untrained Med-BERT is an over-parameterized model (around 17 million parameters) with a huge number of configurations, so it might overfit to the training data". Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
MedBERT— Ki készítette ezt?
Kiadta Peng Cheng Laboratory,University of Texas at Houston, alapján China, egy szervezet, amelyet kategorizáltak mint academia,Academia.
MedBERT— Mikor adták ki?
Kibocsátották a May 2021. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
MedBERT— Mire használják?
Működik a területen a Medicine, és rögzítve van, hogy kezeli a feladatot medical diagnosis, Text classification, Prediction of hospital stay duration, Prediction of diabetic heart failure (DHF), Prediction of onset of pancreatic cancer (PaCa). A modell több mindenből is képes cipelni, így ezek azok a területek, amelyekre épült, nem pedig egy korlát arra, amit meg fog próbálni.
MedBERT— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 9.5 × 10¹⁸ FLOP, hardveren rögzítve NVIDIA Tesla V100 DGXS 32 GB. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
MedBERT— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..