GPT-3 175B (davinci)
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- OpenAI
- Szervezet típusa
- Industry
- Ország
- United States of America
- Közölt
- 28 May 2020
- Szerzők
- Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, C…
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Text autocompletion, Language modeling/generation
- Megközelítés
- Self-supervised learning
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 174.6B
- Képzési adatok
- 238,000,000,000 tokens
- Epochok
- 0.6
- Tételméret
- 3,200,000
"we train GPT-3, an autoregressive language model with 175 billion parameters" Rather, it's 174.6 billion. Table D.1: 174,600 million parameters
From table 2.2, we determine that there are 410 + 19 + 12 + 55 + 3 = 499 billion tokens. We multiply this by 0.75 to give 374B words. 3.74e11 ======================== [Anson: I think the calculation below doesn't look at all the data, the CommonCrawl data only constitutes 60% of the data. Multiplying by 5/3 gives 4.75e11] "The CommonCrawl data was downloaded from 41 shards of monthly CommonCrawl covering 2016 to 2019, constituting 45TB of compressed plaintext before filtering and 570GB aft…
3.2M, per table 2.1
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 3.1 × 10²³ FLOP
- Hogyan jött létre
- Reported
Table D.1 https://arxiv.org/abs/2005.14165
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA Tesla V100 DGXS 32 GB
- Használt chipek
- 10,000
- Chip-óra
- 3,552,000
- Fali óra idő
- 355 hours (14.8 days)
- Hardverhasználat
- MFU 19.7%
- Teljesítményfogyasztás
- 5.1 MW
- Számítási költség
- $2,116,866
- Felhőszolgáltató
- Microsoft
14.8 days according to https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
See table 4 of the carbon emissions paper: https://arxiv.org/pdf/2104.10350 MFU calculation from total compute: (6 FLOP/token/param * 174.6B params * 300B tokens) / (10k V100 * 125 TFLOPS/V100 * 14.8 days) = 0.1966 https://www.wolframalpha.com/input?i=%286*174.6+billion+*+300+billion%29+FLOP+%2F+%281250000+TFLOPS+*+14.8+days%29 HFU calculation from GPU throughput: The paper reports 24.6 TFLOPS throughput per V100, and reports the V100 peak performance of 125 TFLOPS (which is correct if trainin…
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- API access
- Képzés kód
- Unreleased
https://openai.com/blog/openai-api
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Határmodell
- Yes
- Alapmodell
- Yes
- Valószínűleg 10²³ FLOP felett
- Yes
- Miért követik nyomon
- Highly cited,Training cost
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 58,240
- Benchmark adatok
- GPT-3 175B (davinci)
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Language Models are Few-Shot Learners
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Erről a modelről
GPT-3 175B (davinci) ki lett adva által OpenAI, az országban rögzítve mint United States of America, alatt May 2020. A kiadó kategóriája alá tartozik industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása text autocompletion, Language modeling/generation.
Súlyait soha nem tették közzé, így csak a szolgáltatóján keresztül érhető el. Nincs grafikus kártya, ami ezt megváltoztatná.
Képzés és származás
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 3.1 × 10²³ FLOP, hardveren rögzítve NVIDIA Tesla V100 DGXS 32 GB. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A képzés körülbelül egy korpuszt fogyasztott 238,000,000,000 szöveg tokenjei
Egy különös okból nyomon követik az alapul szolgáló adatbázisban: highly cited,Training cost.
Válaszok
GPT-3 175B (davinci) — gyakori kérdések
GPT-3 175B (davinci)— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 3.1 × 10²³ FLOP, hardveren rögzítve NVIDIA Tesla V100 DGXS 32 GB. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
GPT-3 175B (davinci)— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
GPT-3 175B (davinci)— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
GPT-3 175B (davinci)— Hány paramétere van?
Paraméterszáma 174.6B. "we train GPT-3, an autoregressive language model with 175 billion parameters" Rather, it's 174.6 billion. Table D.1: 174,600 million parameters. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
GPT-3 175B (davinci)— Ki készítette ezt?
Kiadta OpenAI, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry.
GPT-3 175B (davinci)— Mikor adták ki?
Kibocsátották a May 2020. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
GPT-3 175B (davinci)— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot text autocompletion, Language modeling/generation. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..