Codex
Geen schatting
Geen hardwarevereisten voor dit model
De gewichten voor dit model zijn niet gepubliceerd, dus het kan niet worden gedownload of op uw eigen hardware worden uitgevoerd in welke omvang dan ook. Het is alleen toegankelijk via de provider, en geen grafische kaart verandert dat.
Op record
Volledige specificatie
Alles over dit model vastgelegd. Het meeste beschrijft hoe het getraind is in plaats van hoe het draait — nuttige context om te beoordelen hoeveel werk erin gestoken is en hoe het zich verhoudt tot modellen die op een andere schaal zijn gebouwd.
Oorsprong
Wie heeft dit model gebouwd, waar en wanneer het werd gepubliceerd.
- Organisatie
- OpenAI
- Organisatie type
- Industry
- Land
- United States of America
- Gepubliceerd
- 7 July 2021
- Authors
- Mark Chen , Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dav…
Wat het doet
De probleemgebieden waarvoor het model is gebouwd. Een model kan er verschillende van elk bevatten.
- Domein
- Language
- Taak
- Code autocompletion
- Approach
- Self-supervised learning
- Base model
- GPT-3 13B
Grootte
Hoe groot het model is en hoeveel data erop is getraind. Parameters zijn de cijfers die bepalen of het op een bepaalde grafische kaart past.
- Parameters
- 12B
- Opleidingsgegevens
- 52,788,000,000 tokens
"With just a single sample, a 12B parameter Codex solves 28.8% of these problems, and a 300M parameter Codex solves 13.2% of these problems"
"Our training dataset was collected in May 2020 from 54 million public software repositories hosted on GitHub, containing 179 GB of unique Python files under 1 MB. We filtered out files which were likely auto-generated, had average line length greater than 100, had maximum line length greater than 1000, or contained a small percentage of alphanumeric characters. After filtering, our final dataset totaled 159 GB." 1 GB ~ 200M words
Training berekeningen
De rekeningen die worden uitgevoerd om het model te trainen, gemeten in drijvende-komma-berekeningen. Het is een maat voor wat de trainingsrun kostte, niet hoe snel het voltooide model je antwoordt.
- Training berekeningen
- 7.3 × 10²² FLOP
"The original training of GPT-3-12B consumed hundreds of petaflop/sdays of compute, while fine-tuning it to create Codex-12B consumed a similar amount of compute." 1 PFLOP/s-day = 8.64e19 FLOPs. "Hundreds" is likely between 200 and 900, geometric mean = 425. 2 * 425 * 8.64e19 = 7.344e22
Beschikbaarheid
Of je het model kunt verkrijgen en het op je eigen hardware kunt draaien, wat bepaalt of een van de grafische kaartcijfers op deze pagina van toepassing is.
- Gewichten
- Closed — provider access only
- Model toegang
- API access
- Trainingscode
- Unreleased
Codex was available via the OpenAI API from announcement: https://openai.com/index/openai-codex/ It is still available via the Research Access Program. https://x.com/OfficialLoganK/status/1638336152800206858
Hoe het is geclassificeerd
Labels de bron dataset toepast bij het volgen van opmerkelijke modellen, en hoe zeker het is van de invoer.
- Foundation model
- Yes
- Waarom het wordt gevolgd
- Significant use,Discretionary
- Vereiste vertrouwen
- Likely
- Citations
- 9,577
Bronnen
Waar deze record vandaan komt en wanneer het voor het laatst is gecontroleerd.
- Referentie
- Evaluating Large Language Models Trained on Code
- Laatst bijgewerkt
- 25 May 2026
Wat de cijfers betekenen
Background
Codex was published by OpenAI, in United States of America, in July 2021. The organisation is categorised as industry.
It works in Language, and is recorded as doing code autocompletion.
It builds on GPT-3 13B, which is why it shares that model's general shape and size.
De gewichten zijn nooit gepubliceerd, dus het kan alleen worden bereikt via de aanbieder. Geen enkele grafische kaart verandert dat.
Wat erin is gestopt om het te bouwen
The training run consumed about 7.3 × 10²² FLOP. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
The training set ran to roughly 52,788,000,000 tokens.
Its inclusion criterion is significant use,Discretionary.
Antwoorden
Codex — Veelgestelde vragen
How many parameters does Codex have?
Codex has 12B parameters. "With just a single sample, a 12B parameter Codex solves 28.8% of these problems, and a 300M parameter Codex solves 13.2% of these problems". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Codex?
Codex was published by OpenAI, based in United States of America, categorised as industry.
When was Codex released?
Codex was published in July 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Codex used for?
Codex works in Language, and is recorded as handling code autocompletion. These are the areas it was designed around; they describe intent rather than a hard boundary.
How much compute was used to train Codex?
Around 7.3 × 10²² FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Codex?
None. Codex is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Codex open source?
No. Codex has not had its weights published, so it exists only as a service controlled by its owner.
De andere richting
Vanuit het andere perspectief bekijken?
Deze pagina begint bij het model. Als u al een kaart bezit en alles wilt weten wat het zal uitvoeren, Begin liever bij de hardware.