Codex
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- OpenAI
- Organisationstyp
- Industry
- Land
- United States of America
- Veröffentlicht
- 7 July 2021
- Autoren
- Mark Chen , Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dav…
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Language
- Aufgabe
- Code autocompletion
- Ansatz
- Self-supervised learning
- Basis-Modell
- GPT-3 13B
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Parameter
- 12B
- Trainingsdaten
- 52,788,000,000 tokens
"With just a single sample, a 12B parameter Codex solves 28.8% of these problems, and a 300M parameter Codex solves 13.2% of these problems"
"Our training dataset was collected in May 2020 from 54 million public software repositories hosted on GitHub, containing 179 GB of unique Python files under 1 MB. We filtered out files which were likely auto-generated, had average line length greater than 100, had maximum line length greater than 1000, or contained a small percentage of alphanumeric characters. After filtering, our final dataset totaled 159 GB." 1 GB ~ 200M words
Training-Computing
Die zur Ausbildung des Modells durchgeführte Arithmetik, gemessen in Gleitkommaoperationen. Es ist ein Maß dafür, was der Trainingslauf gekostet hat, nicht wie schnell das fertige Modell Ihnen antwortet.
- Training-Computing
- 7.3 × 10²² FLOP
"The original training of GPT-3-12B consumed hundreds of petaflop/sdays of compute, while fine-tuning it to create Codex-12B consumed a similar amount of compute." 1 PFLOP/s-day = 8.64e19 FLOPs. "Hundreds" is likely between 200 and 900, geometric mean = 425. 2 * 425 * 8.64e19 = 7.344e22
Verfügbarkeit
Ob Sie das Modell erhalten und es auf Ihrer eigenen Hardware ausführen können, entscheidet darüber, ob eine der Grafikkartenfiguren auf dieser Seite zutrifft.
- Gewichte
- Closed — provider access only
- Modellzugang
- API access
- Trainingscode
- Unreleased
Codex was available via the OpenAI API from announcement: https://openai.com/index/openai-codex/ It is still available via the Research Access Program. https://x.com/OfficialLoganK/status/1638336152800206858
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Foundation model
- Yes
- Warum es nachverfolgt wird
- Significant use,Discretionary
- Aufzeichnungszuversicht
- Likely
- Zitationen
- 9,577
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- Evaluating Large Language Models Trained on Code
- Zuletzt aktualisiert
- 25 May 2026
Was die Zahlen bedeuten
Hintergrund
Codex was published by OpenAI, in United States of America, in July 2021. The organisation is categorised as industry.
It works in Language, and is recorded as doing code autocompletion.
It builds on GPT-3 13B, which is why it shares that model's general shape and size.
Seine Gewichte wurden nie veröffentlicht, daher kann es nur über seinen Anbieter erreicht werden. Keine Grafikkarte ändert das.
Was in den Aufbau geflossen ist
The training run consumed about 7.3 × 10²² FLOP. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
The training set ran to roughly 52,788,000,000 tokens.
Its inclusion criterion is significant use,Discretionary.
Antworten
Codex — Häufig gestellte Fragen
How many parameters does Codex have?
Codex has 12B parameters. "With just a single sample, a 12B parameter Codex solves 28.8% of these problems, and a 300M parameter Codex solves 13.2% of these problems". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Codex?
Codex was published by OpenAI, based in United States of America, categorised as industry.
When was Codex released?
Codex was published in July 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Codex used for?
Codex works in Language, and is recorded as handling code autocompletion. These are the areas it was designed around; they describe intent rather than a hard boundary.
How much compute was used to train Codex?
Around 7.3 × 10²² FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Codex?
None. Codex is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Codex open source?
No. Codex has not had its weights published, so it exists only as a service controlled by its owner.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.