MoE-1.1T TPS kalkulátor
Minden kártyát az alábbiak szerint értékelünk e modell alapján a választott kontextus hossza és minimális minőség szerint. A sebesség egy becslés egyetlen kérésre, amelyet a kártya memória sávszélessége és a modell mérete alapján számítunk ki, miután tömörítettük..
Kiszámítva ehhez a MODElhez
818 kártyák, amelyek specifikációs adataink vannak
Melyik GPU képes futtatni MoE-1.1T?
Állítsa be a bemeneteket, olvassa el a választ
Egy hosszabb beszélgetés több memóriaigényt támaszt, ami kiszoríthatja ezt a modellt a kisebb kártyákról..
Elrejti azokat a GPU-kártyákat, amelyek csak a modellbe illeszkednének a compressziójuk ezen pont alá..
0 kártyák illeszkednek
Számítás| Szükséges | Kvantisálás | Illeszkedik | |||||
|---|---|---|---|---|---|---|---|
|
A katalógusunkban nincs olyan GPU, amely képes lenne futtatni ezt a modellt ezekkel a beállításokkal.. |
|||||||
A sebességek egyetlen kérésre - egy beszélgetés egy időben - vonatkozó becslések, amelyeket a MEMORY BANDWIDTH, a MODEL SIZE és a QUANTISATION alapján számítanak ki. A valós áteresztőképesség változik az INFERENCE RUNTIME és annak verziója szerint. A HARDWARE VENDORS által közzétett számok sok párhuzamos kérést mérnek, és sokkal magasabbak..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Meta AI
- Szervezet típusa
- Industry
- Ország
- United States of America
- Közölt
- 20 December 2021
- Szerzők
- Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Mona Diab, Zornitsa Kozareva, Ves Stoyanov
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Language modeling/generation, Question answering
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 1.1T
- Képzési adatok
- 112,000,000,000 tokens
- Epochok
- 2.68
112B tokens, or 84B words at 0.75 English words/token. "We pretrain our models on a union of six Englishlanguage datasets, including the five datasets used to pretrain RoBERTa (Liu et al., 2019) and the English subset of CC100, totalling 112B tokens"
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 2.2 × 10²² FLOP
- Hogyan jött létre
- Reported
Reported directly in paper. Authors calculate FLOPs analytically in appendix G
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA A100
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Open — downloadable
- Modell hozzáférés
- Open weights (non-commercial)
- Képzés kód
- Unreleased
for research use only https://github.com/facebookresearch/fairseq/tree/main/examples/moe_lm I don't see training code
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 241
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Efficient Large Scale Language Modeling with Mixtures of Experts
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Hardverkövetelmények a gyakorlatban
MoE-1.1T eléri a paraméterek számát 1.1T. Ez túl van azon, amit bármelyik egyedi GPU kártya kezelni tud. A futtatása azt jelenti, hogy vagy több kártyára osztja, vagy olyan hardvert bérel, amelyet erre a feladatra terveztek, és minden olyan kártya, amely egyedül képes kezelni, egy adatközponti alkatrész. Az a szám, amely képes rá: 0.
Honnan jött
MoE-1.1T ki lett adva által Meta AI, az országban rögzítve mint United States of America, alatt December 2021. A kiadó kategóriája alá tartozik industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása language modeling/generation, Question answering.
A súlyok közzétéve vannak, így letölthető és futtatható a saját hardveren határozatlan ideig, offline, felhasználói fiók nélkül.
Mi került a felépítésébe
A képzés futás körülbelül 2.2 × 10²² FLOP, hardveren rögzítve NVIDIA A100. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Körülbelül egy korpuszon lett betanítva 112,000,000,000 szöveg tokenjei
Lépésről lépésre
Hogyan válasszunk GPU-t a MoE-1.1T
A fenti táblázat már értékelte az összes kártyát, amelynek specifikációi elérhetők ennek a modellen. A válaszod megszerzése hat lépést igényel..
-
01
Kezdj a GPU VRAM oszloptól.
Minden kártyát itt leellenőriztünk a következőkkel szemben MoE-1.1T. Semennyi feldolgozási teljesítmény nem kompenzálja azt a kártyát, amelyik nem tudja megtartani.
-
02
Döntsön arról, hogy mennyi ideig tartanak a beszélgetései.
A hosszabb beszélgetések memóriaigénye van a súlyok szükségletén kívül. Húzd el a csúszkát a valódi munkahosszodra, mielőtt bármelyik sort megbízhatónak tartanád. MoE-1.1T.
-
03
Válaszd ki, milyen messzire fogod tömöríteni.
Minden KÁRTYA a legkevésbé tömörített másolatot futtatja, amelyet el tud tartani.. A minimális minőség beállítása eldobja azokat a kártyákat, amelyek csak úgy tudják kezelni, hogy tovább szorítanak, mint amit szeretnél, és egy szinten tartja az összehasonlítást.
-
04
Hasonlítsd össze a TOKENS PER SECOND-t, ne a SPECIFICATIONS-t.
Rendezze sebesség szerint, hogy lássa, hogyan rangsorolnak a kártyák. MoE-1.1T. Nem fog illeszkedni egy gaming rendeléshez, mert a generálás a memória sávszélesség által kötött.
-
05
Ellenőrizd a megfelelő ítéletet vásárlás előtt.
Tömör jelentése, hogy betölti és működik, nincs hely a későbbi kontextus növelésére, a következő esetben MoE-1.1T. A Kényelmes azt jelenti, hogy később bővítheted a contextet. Ez a különbség fontosabb, mint néhány token másodpercenként, így kényelmeset vásárolj, ha ezt várod.
-
06
Nézd meg a kártyát a másik oldalról.
Minden kártyaoldal megismétli ezt a vizsgálatot minden modellre, amelyet birtoklunk, válaszolva arra, hogy mi másra jó a hardver, azon kívül, hogy MoE-1.1T.
Válaszok
MoE-1.1T — gyakori kérdések
MoE-1.1T— Nyílt forráskódú?
Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.
MoE-1.1T— Hány paramétere van?
Paraméterszáma 1.1T. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
MoE-1.1T— Ki készítette ezt?
Kiadta Meta AI, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry.
MoE-1.1T— Mikor adták ki?
Kibocsátották a December 2021. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
MoE-1.1T— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot language modeling/generation, Question answering. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
MoE-1.1T— Hol tudom letölteni?
A súlyok közzététele megtörtént, bár nem rendelkezünk tárolólinkkel erre. Ez az oldal a hardverkövetelményeket számítja ki, nem pedig modellfájlokat tárol.
MoE-1.1T— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 2.2 × 10²² FLOP, hardveren rögzítve NVIDIA A100. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
MoE-1.1T— Futtathatom, ha nem fér el a GPU-mban?
Elosztható a kártya és a rendszer MEMÓRIA között, de így fájdalmasan lassan generálódik. A legközelebbi hiba, amit számítunk, alulmúlja 407.0 GB Minden ábra azt feltételezi, hogy az egész model a kártyán tartózkodik.
MoE-1.1T— Futtatna-e két GPU gyorsabban?
Két kártya memóriát vásárol, nem sebességet, ami csak akkor számít, ha az egyik kártya nem tudja tartani. Az a szám, ami tudja: 0. Tehát egy második KÁRTYA ritkán a megoldás itt.
MoE-1.1T— miért különbözik a kvantálás a kártyák között?
Mivel a kapacitás változik, úgy az is, hogy mennyire kell összenyomni. A fenti táblázatban lévő különböző szintek száma: 1. A nagyobb kártyák a pontosabb verziót kapják, és a minőségi küszöb felett a összehasonlítást egy szinten rögzíti.
MoE-1.1T— Mennyire pontosak ezek a sebességbecslések?
A specifikációkból számítják ki őket, nem pedig mérik, és mindegyiknek van egy tartománya. Egy példa: a távolság minden egyes szám alatt. Ugyanaz a modell és kártya harminc és ötven százalék között változik a következtetési szoftvertől és annak verziójától függően.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..