JEST-L++
Brak oszacowania
Brak wymagań sprzętowych dla tego modelu
Wagi dla tego modelu nie zostały opublikowane, więc nie można ich pobrać ani uruchomić na własnym sprzęcie w żadnym rozmiarze. Jest dostępny tylko za pośrednictwem swojego dostawcy, a zmiana karty graficznej tego nie zmienia..
Na nagranie
Pełna specyfikacja
Wszystko na rekord dla tego modelu. Większość z tego opisuje, jak był trenowany, a nie jak działa — użyteczny kontekst do oceny, ile pracy włożono w to, i jak wypada w porównaniu z modelami budowanymi w innym skali..
Pochodzenie
Kto zbudował ten model, gdzie i kiedy został opublikowany.
- Organizacja
- DeepMind
- Typ organizacji
- Industry
- Kraj
- United Kingdom of Great Britain and Northern Ireland
- Opublikowany
- 25 June 2024
- Autorzy
- Talfan Evans, Nikhil Parthasarathy, Hamza Merzic, Olivier J. Henaff
Co to robi
Obszary problemowe, dla których stworzono model. Model może mieć kilka z każdego.
- Domena
- Vision
- Zadanie
- Image classification
Rozmiar
Jak duży jest model i na ile danych był trenowany. Parametry to liczba, która decyduje, czy mieści się na danej karcie graficznej.
- Dane treningowe
- 98,304,000,000,000 tokens
- Rozmiar wsadu
- 32,000
"Our default training configuration follows that of SigLIP [54], with a ViT-B/16 and Bert-B image-text dual encoder, training on WebLI for 3 billion examples with a batch size of 32k and the sigmoid-contrastive loss... We split training across 256 TPUv5e chips," according to page 14 of https://arxiv.org/pdf/2406.17711v1.
Obliczenia treningowe
Arytmetyka wykonywana w celu wytrenowania modelu, mierzona w operacjach zmiennoprzecinkowych. Jest to miara kosztów przeprowadzenia treningu, a nie tego, jak szybko gotowy model odpowiada na twoje pytania.
- Obliczenia treningowe
- 2 × 10²¹ FLOP
See the right subfigure of Figure 1 on page 2 of https://arxiv.org/pdf/2406.17711v1.
Przebieg szkolenia
Co fizycznie było potrzebne do treningu: jakie chipy, ile, na jak długo i co to pobierało z sieci.
- Sprzęt do trenowania
- Google TPU v5e
- Zastosowane chipy
- 256
- Pobór mocy
- 113.7 kW
Dostępność
Czy możesz zdobyć model i uruchomić go na swoim sprzęcie, co decyduje o tym, czy którakolwiek z cyfr karty graficznej na tej stronie ma zastosowanie.
- Wagi
- Closed — provider access only
- Dostęp do modelu
- Unreleased
- Kod treningowy
- Unreleased
(a) Did you include the code, data, and instructions needed to reproduce the main experimental results (either in the supplemental material or as a URL)? [No] We do not explicitly provide the code for our experiments, however we detail in pseudocode the main components of our method (see algorithms 1 and A.1). Our model implementations and base experimental configuration were adopted from the open source big_vision codebase [3]. We do not provide the reference or downstream training datasets, bu…
Jak jest klasyfikowane
Etykiety, które źródłowy zbiór danych stosuje podczas śledzenia znaczących modeli oraz jak pewny jest tego wpisu.
- Zapisz pewność
- Confident
- Cytaty
- 30
Źródła
Skąd pochodzi ten rekord i kiedy był ostatnio sprawdzany.
- Referencja
- Data curation via joint example selection further accelerates multimodal learning
- Ostatnio zaktualizowane
- 25 May 2026
Co oznaczają liczby
Skąd to pochodzi
JEST-L++ został opublikowany przez DeepMind, w kraju zapisanym jako United Kingdom of Great Britain and Northern Ireland, podczas June 2024. Wychodzi z organizacji zaklasyfikowanej jako industry.
Działa w dziedzinie Vision, i jest zapisany jako wykonujący zadanie image classification.
To jest model zamknięty: wytrenowane wartości pozostały u tego, kto je wyprodukował, a lokalna wersja do uruchomienia nie istnieje.
Jak to zostało wytrenowane
Trenowanie zajęło budżet obliczeniowy wynoszący około 2 × 10²¹ FLOP, na sprzęcie zarejestrowanym jako Google TPU v5e. Ta liczba mierzy, ile kosztowało wyprodukowanie modelu i nie ma wpływu na to, jak szybko odpowiada.
Zbiór treningowy trwał około 98,304,000,000,000 Tokeny tekstu.
Odpowiedzi
JEST-L++ — częste pytania
JEST-L++— ile mocy obliczeniowej użyto do jego trenowania?
Szkolenie zajęło około 2 × 10²¹ FLOP, na sprzęcie zarejestrowanym jako Google TPU v5e. To mierzy, ile kosztowało wyprodukowanie modelu i nie mówi nic o tym, jak szybko odpowiada po wytrenowaniu — prędkość wnioskowania pochodzi z SZEROKOŚCI PASMA, a nie z budżetu treningowego.
JEST-L++— Jaką GPU potrzebuję, aby ją uruchomić?
Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.
JEST-L++— czy jest open weight?
Nie. Jego wagi nie zostały opublikowane, więc istnieje tylko jako usługa kontrolowana przez jego właściciela.
JEST-L++— ile ma parametrów?
Nie opublikowano liczby parametrów, dlatego na tej stronie nie pojawia się żaden wskaźnik pamięci ani prędkości.
JEST-L++— kto to stworzył?
Zostało opublikowane przez DeepMind, oparty na United Kingdom of Great Britain and Northern Ireland, organizacja sklasyfikowana jako industry.
JEST-L++— kiedy to zostało wydane?
Zostało opublikowane w June 2024. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.
JEST-L++— do czego to służy?
Działa w dziedzinie Vision, i jest zarejestrowany jako realizujący zadanie image classification. To są obszary, wokół których został zaprojektowany; opisują zamiar, a nie twardą granicę.
Druga strona
Patrząc na to z drugiej strony?
Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko będzie działać., Zacznij od sprzętu zamiast.