Gopher (280B)
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- DeepMind
- Szervezet típusa
- Industry
- Ország
- United Kingdom of Great Britain and Northern Ireland
- Közölt
- 8 December 2021
- Szerzők
- Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, Po-Sen Huang, Amelia Glaese, Johannes Welbl, Sumanth Dathathri, Saffron Huang, Jonathan Uesato, John Mellor…
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling, Question answering
- Megközelítés
- Self-supervised learning
- Numerikus formátum
- BF16
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 280B
- Képzési adatok
- 300,000,000,000 tokens
- Epochok
- 1
- Tételméret
- 6,000,000
Language modelling provides a step towards intelligent communication systems by harnessing large repositories of written human knowledge to better predict and understand the world. In this paper, we present an analysis of Transformer-based language model performance across a wide range of model scales -- from models with tens of millions of parameters up to a 280 billion parameter model called Gopher. These models are evaluated on 152 diverse tasks, achieving state-of-the-art performance across …
"We train all models for 300 billion tokens with a 2048 token context window, using the Adam (Kingma and Ba, 2014) optimiser." 1 token ~ 0.75 words
Table 1. "Furthermore, we increase Gopher’s batch size from three to six million tokens per batch during training"
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 6.3 × 10²³ FLOP
- Hogyan jött létre
- Reported
Table A26 6.31E+08 Train PFLOPs
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- Google TPU v3
- Használt chipek
- 4,096
- Chip-óra
- 3,768,320
- Fali óra idő
- 920 hours (38.3 days)
- Hardverhasználat
- MFU 37.8%
- Teljesítményfogyasztás
- 3.7 MW
- Számítási költség
- $640,617
"We trained Gopher for 920 hours in November and December 2020 in Google’s Georgia datacentre. The PUE of the datacenter at this time was 1.08; the net tCO2e per MWh in October 2020 was 0.33. Using an estimate of 283W drawn per chip, this leads to a total of 380 net tCO2e"
Compute used to train model (table A26): 6.31e23 Maximum possble compute based on GPU-hours at 100% utilization: 920 * 4096 * 3600 * 1.23e14 = 1.669e24 Therefore, we can calculate utilization: MFU = 6.31e23 / 1.669e24 = 0.3780
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Unreleased
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Határmodell
- Yes
- Valószínűleg 10²³ FLOP felett
- Yes
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 1,605
- Benchmark adatok
- Gopher (280B)
"These models are evaluated on 152 diverse tasks, achieving state-of-the-art performance across the majority"
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- "Scaling Language Models: Methods, Analysis & Insights from Training Gopher"
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Háttér
Gopher (280B) ki lett adva által DeepMind, az országban rögzítve mint United Kingdom of Great Britain and Northern Ireland, alatt December 2021. Egy olyan szervezetből származik, amelyet kategorizálnak mint industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling, Question answering.
Ez egy zárt modell: a betanított értékek azoknál maradtak, akik előállították őket, és nincs helyi verzió a futtatáshoz.
Mi került a felépítésébe
A betanításhoz körülbelül egy számítási költségvetés kellett 6.3 × 10²³ FLOP, hardveren rögzítve Google TPU v3. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A tanító készlet kb. futott 300,000,000,000 szöveg tokenjei
A kiválasztási kritériuma: sOTA improvement.
Válaszok
Gopher (280B) — gyakori kérdések
Gopher (280B)— Mikor adták ki?
Kibocsátották a December 2021. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
Gopher (280B)— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling, Question answering. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
Gopher (280B)— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 6.3 × 10²³ FLOP, hardveren rögzítve Google TPU v3. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
Gopher (280B)— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
Gopher (280B)— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
Gopher (280B)— Hány paramétere van?
Paraméterszáma 280B. Language modelling provides a step towards intelligent communication systems by harnessing large repositories of written human knowledge to better predict and understand the world. In this paper, we present an analysis of Transformer-based language model performance across a wide range of model scales -- from models with tens of millions of parameters up to a 280 billion parameter model called Gopher. These models are evaluated on 152 diverse tasks, achieving state-of-the-art performance across the majority. Gains from scale are largest in areas such as reading comprehension, fact-checking, and the identification of toxic language, but logical and mathematical reasoning see less benefit. We provide a holistic analysis of the training dataset and model's behaviour, covering the intersection of model scale with bias and toxicity. Finally we discuss the application of language models to AI safety and the mitigation of downstream harms. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
Gopher (280B)— Ki készítette ezt?
Kiadta DeepMind, alapján United Kingdom of Great Britain and Northern Ireland, egy szervezet, amelyet kategorizáltak mint industry.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..