M4-50B

Ma liczbę parametrów równą 50B. (sparse architecture) "By modifying the Transformer architecture through the substitution of the vanilla feed-forward layers with sparsely-gated mixture of experts, we drastically scale up the model capacity, allowing us to successfully train and pass 50 billion parameters, which further improved translation quality across the board.". Ta liczba to całkowita, i to ona decyduje o tym, ile pamięci potrzebuje model — mniej więcej pół gigabajta na miliard przy kompresji, którą używa większość ludzi.

Zostało opublikowane przez Google, oparty na United States of America, organizacja sklasyfikowana jako industry.

Zostało opublikowane w October 2019. Możliwość na parametr znacznie się poprawiła, więc nowszy model tej samej wielkości często lepiej wykorzystuje ten sam sprzęt.

Działa w dziedzinie Language, i jest zarejestrowany jako realizujący zadanie translation. Model może obsługiwać kilka z każdego, więc to są obszary, dla których został zbudowany, a nie ograniczenie tego, co będzie próbował.

Żaden. To jest zamknięty model — jego wagi nigdy nie zostały opublikowane, więc nie można go pobrać ani uruchomić na własnym sprzęcie za żadną cenę. Jest dostępny tylko przez jego dostawcę.

Nie. Jego wagi nie zostały opublikowane, więc istnieje tylko jako usługa kontrolowana przez jego właściciela.