CODEFUSION (Python)
Nincs becslés
Nincs hardver követelmény ennek a modellnek
A modellhez tartozó súlyokat nem tették közzé, így nem tölthető le vagy futtatható a saját hardverén bármilyen méretben. Csak a szolgáltatóján keresztül érhető el, és egyetlen grafikus kártya sem változtat ezen..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- Microsoft,Microsoft Research
- Szervezet típusa
- Industry,Industry
- Ország
- United States of America
- Közölt
- 26 October 2023
- Szerzők
- Mukul Singh, José Cambronero, Sumit Gulwani, Vu Le, Carina Negreanu, Gust Verbruggen
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Language
- Feladat
- Code generation
- Megközelítés
- Self-supervised learning
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 75M
- Képzési adatok
- 4,390,400 tokens
Table 1
Section A3, Table 5: for python, 56k samples with an average length of 78.4 tokens
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 7.9 × 10¹⁸ FLOP
- Hogyan jött létre
- Hardware
V100 performance: 125 teraFLOPS according to https://www.nvidia.com/en-us/data-center/v100/ 11 hours * 4 GPUs * 125 teraFLOPS/GPU * 0.40 utilization = 7.92e18 FLOP
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA V100
- Használt chipek
- 4
- Fali óra idő
- 11 hours
- Teljesítményfogyasztás
- 2.4 kW
- Számítási költség
- $9
"The system used to run the experiments uses an Intel Core i7 processor (base at 1.8 GHz) along with 4 V100 GPU units, a 64-bit operating system, and 56 GB RAM. CODEFUSION took 8 hours to pre-train and 3 hours to fine-tune on average for each dataset."
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Closed — provider access only
- Modell hozzáférés
- Unreleased
- Képzés kód
- Unreleased
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Miért követik nyomon
- SOTA improvement
- Nyilvántartási bizalom
- Confident
- Hivatkozások
- 57
See Table 1, SOTA in Python code generation "We evaluate Python using CodeBERTScore (Zhou et al., 2023), which has been shown to be a high quality non-execution-based code matching metric."
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- CODEFUSION: A Pre-trained Diffusion Model for Code Generation
- Utoljára frissítve
- 25 May 2026
Mit jelentenek a számok
Erről a modelről
CODEFUSION (Python) ki lett adva által Microsoft,Microsoft Research, az országban rögzítve mint United States of America, alatt October 2023. A kiadó szervezet a következő kategóriába tartozik industry,Industry.
Működik a területen a Language, és úgy van rögzítve, mint a feladat végrehajtása code generation.
Mivel a súlyok nem elérhetők, ezért ezen az oldalon máshol található hardveradatok egyike sem vonatkozik rá.
Hogyan lett betanítva
A betanításhoz körülbelül egy számítási költségvetés kellett 7.9 × 10¹⁸ FLOP, hardveren rögzítve NVIDIA V100. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
A tanító készlet kb. futott 4,390,400 szöveg tokenjei
Egy különös okból nyomon követik az alapul szolgáló adatbázisban: sOTA improvement.
Válaszok
CODEFUSION (Python) — gyakori kérdések
CODEFUSION (Python)— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 7.9 × 10¹⁸ FLOP, hardveren rögzítve NVIDIA V100. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
CODEFUSION (Python)— Milyen GPU-ra van szükségem, hogy futtathassam?
Ez egy zárt modell — a súlyait soha nem tették közzé, így nem tölthető le és nem futtatható a saját hardverén semmilyen áron. Csak a szolgáltatóján keresztül érhető el.
CODEFUSION (Python)— Nyílt forráskódú?
Nem. A súlyai nincsenek közzétéve, így csak a tulajdonosa által ellenőrzött szolgáltatásként létezik.
CODEFUSION (Python)— Hány paramétere van?
Paraméterszáma 75M. Table 1. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
CODEFUSION (Python)— Ki készítette ezt?
Kiadta Microsoft,Microsoft Research, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry,Industry.
CODEFUSION (Python)— Mikor adták ki?
Kibocsátották a October 2023. A paraméterenkénti képesség lényegesen javult azóta, így egy újabb, azonos méretű modell gyakran jobb felhasználása a same hardvernek.
CODEFUSION (Python)— Mire használják?
Működik a területen a Language, és rögzítve van, hogy kezeli a feladatot code generation. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..