Codex
Brak szacunków
Brak wymagań sprzętowych dla tego modelu
Wagi tego modelu nie zostały opublikowane, dlatego nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny wyłącznie poprzez jego dostawcę, a żadna karta graficzna tego nie zmieni.
Na nagraniu
Pełna specyfikacja
Wszystko, co jest dostępne na temat tego modelu. Większość z tego opisuje, jak został wytrenowany, a nie jak działa — przydatny kontekst do oceny, ile pracy w to włożono i jak wypada na tle modeli zbudowanych na innym poziomie skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- OpenAI
- Typ organizacji
- Industry
- Kraj
- United States of America
- Opublikowane
- 7 July 2021
- Autorzy
- Mark Chen , Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dav…
Co to robi
Obszary problemowe, dla których stworzono model. Model może zawierać kilka z każdej.
- Domena
- Language
- Zadanie
- Code autocompletion
- Approach
- Self-supervised learning
- Model bazowy
- GPT-3 13B
Rozmiar
Jakiej wielkości jest model i na ile danych był szkolony. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- Parametry
- 12B
- Dane treningowe
- 52,788,000,000 tokens
"With just a single sample, a 12B parameter Codex solves 28.8% of these problems, and a 300M parameter Codex solves 13.2% of these problems"
"Our training dataset was collected in May 2020 from 54 million public software repositories hosted on GitHub, containing 179 GB of unique Python files under 1 MB. We filtered out files which were likely auto-generated, had average line length greater than 100, had maximum line length greater than 1000, or contained a small percentage of alphanumeric characters. After filtering, our final dataset totaled 159 GB." 1 GB ~ 200M words
Obliczenia szkoleniowe
Aritmetyka wykonywana w celu wytrenowania modelu, mierzone w operacjach zmiennoprzecinkowych. Jest to miara kosztu przeprowadzonego treningu, a nie tego, jak szybko gotowy model odpowiada na twoje zapytania.
- Obliczenia szkoleniowe
- 7.3 × 10²² FLOP
"The original training of GPT-3-12B consumed hundreds of petaflop/sdays of compute, while fine-tuning it to create Codex-12B consumed a similar amount of compute." 1 PFLOP/s-day = 8.64e19 FLOPs. "Hundreds" is likely between 200 and 900, geometric mean = 425. 2 * 425 * 8.64e19 = 7.344e22
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim własnym sprzęcie, co decyduje, czy jakiekolwiek z danych dotyczących karty graficznej na tej stronie mają zastosowanie.
- Wagi
- Closed — provider access only
- Dostęp do modelu
- API access
- Kod treningowy
- Unreleased
Codex was available via the OpenAI API from announcement: https://openai.com/index/openai-codex/ It is still available via the Research Access Program. https://x.com/OfficialLoganK/status/1638336152800206858
Jak jest klasyfikowane
Etykiety stosowane przez źródłowy zbiór danych podczas śledzenia znaczących modeli oraz jak pewny jest w danym wpisie.
- Foundation model
- Yes
- Dlaczego jest śledzone
- Significant use,Discretionary
- Zaufanie do nagrania
- Likely
- Cytacje
- 9,577
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- Evaluating Large Language Models Trained on Code
- Ostatnia aktualizacja
- 25 May 2026
Co oznaczają liczby
Background
Codex was published by OpenAI, in United States of America, in July 2021. The organisation is categorised as industry.
It works in Language, and is recorded as doing code autocompletion.
It builds on GPT-3 13B, which is why it shares that model's general shape and size.
Jego wagi nigdy nie zostały opublikowane, więc można go osiągnąć tylko przez jego dostawcę. Żadna karta graficzna tego nie zmieni.
Co poszło w budowę tego
The training run consumed about 7.3 × 10²² FLOP. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
The training set ran to roughly 52,788,000,000 tokens.
Its inclusion criterion is significant use,Discretionary.
Odpowiedzi
Codex — Często zadawane pytania
How many parameters does Codex have?
Codex has 12B parameters. "With just a single sample, a 12B parameter Codex solves 28.8% of these problems, and a 300M parameter Codex solves 13.2% of these problems". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Codex?
Codex został opublikowany przez OpenAI, z siedzibą w Stanach Zjednoczonych Ameryki, sklasyfikowany jako przemysł.
When was Codex released?
Codex was published in July 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Codex used for?
Codex works in Language, and is recorded as handling code autocompletion. These are the areas it was designed around; they describe intent rather than a hard boundary.
How much compute was used to train Codex?
Around 7.3 × 10²² FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Codex?
None. Codex is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Codex open source?
No. Codex has not had its weights published, so it exists only as a service controlled by its owner.
W innym kierunku
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, wszystko co będzie ona obsługiwać, Rozpocznij od sprzętu..