Fusion in Encoder
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Samsung
- Szervezet típusa
- Industry
- Ország
- Korea (Republic of)
- Közölt
- 18 November 2022
- Szerzők
- Akhil Kedia, Mohd Abbas Zaidi, Haejun Lee
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Question answering, Language modeling/generation
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 330M
- Képzési adatok
- 960,000 tokens
330M
79k per table 11 (probably number of question-answer pairs)
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 1.3 × 10²⁰ FLOP
- Hogyan jött létre
- Hardware
"The experiments were run on 8x80GB Nvidia A100s with 800GB RAM and 4x32-core CPUs, and each experiment took around 1 day for NQ and 2 days for TriviaQA with large models. Inference was run on the same system, and took 2 minutes." 2 days * 24 * 3600 * 8 * 312 teraflop/s * 0.3 utilization = 1.3e20
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA A100 SXM4 80 GB
- Fali óra idő
- 48 hours
- Számítási költség
- $233
2 days
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Unreleased
"The source code is based on the original implementation of FiD (Izacard and Grave, 2021b), which can be found at their Github. The modeling for the fused Electra model was implemented using HuggingFace (Wolf et al., 2020) by modifying the ElectraModel.
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Likely
- Hivatkozások
- 12
"Using our proposed method, we outperform the current state-of-the-art method by 2.5 Exact Match score on the Natural Question dataset while using only 25% of parameters and 35% of the latency during inference, and 4.4 Exact Match on WebQuestions dataset"
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Erről a modelről
Fusion in Encoder ki lett adva által Samsung, az országban rögzítve mint Korea (Republic of), alatt November 2022. A kiadó kategóriája alá tartozik industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása question answering, Language modeling/generation.
Súlyait soha nem tették közzé, így csak a szolgáltatóján keresztül érhető el. Nincs grafikus kártya, ami ezt megváltoztatná.
Mi került a felépítésébe
A létrehozásához körülbelül összesítő aritmetikára volt szükség. 1.3 × 10²⁰ FLOP, hardveren rögzítve NVIDIA A100 SXM4 80 GB. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A képzés körülbelül egy korpuszt fogyasztott 960,000 szöveg tokenjei
Egy különös okból nyomon követik az alapul szolgáló adatbázisban: sOTA improvement.
Válaszok
Fusion in Encoder — gyakori kérdések
Fusion in Encoder— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 1.3 × 10²⁰ FLOP, hardveren rögzítve NVIDIA A100 SXM4 80 GB. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
Fusion in Encoder— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
Fusion in Encoder— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
Fusion in Encoder— Hány paramétere van?
Paraméterszáma 330M. 330M. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
Fusion in Encoder— Ki készítette ezt?
Kiadta Samsung, alapján Korea (Republic of), egy szervezet, amelyet kategorizáltak mint industry.
Fusion in Encoder— Mikor adták ki?
Kibocsátották a November 2022. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
Fusion in Encoder— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot question answering, Language modeling/generation. A modellek gyakran több mint egyet hordoznak mindegyikből, és a címkék a célra, nem pedig a képességek határaira utalnak.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..