FAIRSEQ Adaptive Inputs
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Facebook AI Research,Google Brain
- Szervezet típusa
- Industry,Industry
- Ország
- United States of America, France
- Közölt
- 1 April 2019
- Szerzők
- Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, Michael Auli
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling/generation
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 247M
- Képzési adatok
- 103,000,000 tokens
- Epochok
- 180
"The first model has 16 blocks, inner dimension 4K and embedding dimension 1K" 247M as in Baevski and Auli (2019) Transformer
assuming same number of epochs as in Baevski and Auli (2019) Transformer - 180
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 3.2 × 10¹⁹ FLOP
- Hogyan jött létre
- Operation counting,Hardware
6 FLOP / parameter / token * 247000000 parameters * 103000000 tokens * 180 epochs = 2.747628e+19 FLOP for translation model, Table 2: 31330000000000 FLOP / second / GPU * 128 GPUs * 8.5 hours * 3600 seconds / hour * 0.3 [assumed precision] = 3.6814003e+19 FLOP sqrt(2.747628e+19*3.6814003e+19) = 3.1804274e+19 FLOP Speculative confidence since amount of parameters and epochs are assumed as well as hardware estimation is given for another model in the paper __________ In the Algorithmic progr…
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA V100
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Open source
weights and training, Repo is MIT-licensed https://github.com/facebookresearch/fairseq/blob/main/examples/language_model/README.adaptive_inputs.md
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Nyilvántartási bizalom
- Speculative
- Hivatkozások
- 3,381
- Benchmark adatok
- FAIRSEQ Adaptive Inputs
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- fairseq: A Fast, Extensible Toolkit for Sequence Modeling
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Erről a modelről
FAIRSEQ Adaptive Inputs ki lett adva által Facebook AI Research,Google Brain, az országban rögzítve mint United States of America, alatt April 2019. A kiadó szervezet a következő kategóriába tartozik industry,Industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling/generation.
Mivel a súlyok nem elérhetők, ezért ezen az oldalon máshol található hardveradatok egyike sem vonatkozik rá.
Hogyan lett betanítva
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 3.2 × 10¹⁹ FLOP, hardveren rögzítve NVIDIA V100. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A tanító készlet kb. futott 103,000,000 szöveg tokenjei
Válaszok
FAIRSEQ Adaptive Inputs — gyakori kérdések
FAIRSEQ Adaptive Inputs— Ki készítette ezt?
Kiadta Facebook AI Research,Google Brain, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry,Industry.
FAIRSEQ Adaptive Inputs— Mikor adták ki?
Kibocsátották a April 2019. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
FAIRSEQ Adaptive Inputs— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation. A modell több mindenből is képes cipelni, így ezek azok a területek, amelyekre épült, nem pedig egy korlát arra, amit meg fog próbálni.
FAIRSEQ Adaptive Inputs— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 3.2 × 10¹⁹ FLOP, hardveren rögzítve NVIDIA V100. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
FAIRSEQ Adaptive Inputs— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
FAIRSEQ Adaptive Inputs— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
FAIRSEQ Adaptive Inputs— Hány paramétere van?
Paraméterszáma 247M. "The first model has 16 blocks, inner dimension 4K and embedding dimension 1K" 247M as in Baevski and Auli (2019) Transformer. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..