MoE-1.1T kalkulator TPS

Otwórz wagi Meta AI 1.1T Parametry December 2021

Każda karta poniżej jest oceniana w stosunku do tego modelu przy wybranej długości kontekstu i minimalnej jakości. Prędkość to szacunkowa wartość dla pojedynczego żądania, obliczona na podstawie przepustowości pamięci karty i rozmiaru modelu po kompresji..

Obliczone dla tego modelu

0 818 karty, które mogą to uruchomić

Które GPUn mogą uruchomić MoE-1.1T?

Ustaw wejścia, odczytaj odpowiedź

Dłuższa rozmowa potrzebuje więcej pamięci, co może wykluczyć ten model z mniejszych kart..

Ukrywa karty, które mogłyby pasować do modelu, kompresując je poniżej tego punktu.

0 karty pasują

Obliczanie
Wymagana Kwantyzacja Dopasowane

Żaden model w naszym katalogu nie może uruchomić tego modelu z tymi ustawieniami..

Prędkości są szacunkowe dla jednego zapytania — jedna rozmowa na raz — obliczone z szerokości pasma pamięci, rozmiaru modelu i kwantyzacji. Rzeczywista przepustowość różni się w zależności od czasu działania inferencji i jej wersji. Liczby publikowane przez dostawców sprzętu mierzą wiele jednoczesnych zapytań i są znacznie wyższe..

Na rekord

Pełna specyfikacja

Wszystko w rejestrze dla tego modelu. Większość z tego opisuje, jak został wytrenowany, a nie jak działa — przydatny kontekst do oceny, ile pracy włożono w jego budowę i jak wypada w porównaniu z modelami stworzonymi w innym skali..

Origin

Kto zbudował ten model, gdzie i kiedy został opublikowany.

Organizacja
Meta AI
Typ organizacji
Industry
Kraj
United States of America
Opublikowano
20 December 2021
Autorzy
Mikel Artetxe, Shruti Bhosale, Naman Goyal, Todor Mihaylov, Myle Ott, Sam Shleifer, Xi Victoria Lin, Jingfei Du, Srinivasan Iyer, Ramakanth Pasunuru, Giri Anantharaman, Xian Li, Shuohui Chen, Halil Akin, Mandeep Baines, Louis Martin, Xing Zhou, Punit Singh Koura, Brian O'Horo, Jeff Wang, Luke Zettlemoyer, Mona Diab, Zornitsa Kozareva, Ves Stoyanov

Co to robi

Obszary problemowe, dla których model został stworzony. Model może obsługiwać kilka z każdego.

Domena
Language
Zadanie
Language modeling/generation, Question answering

Rozmiar

Jak duży jest model i ile danych został wytrenowany. Parametry to wartość, która decyduje, czy mieści się na danej karcie graficznej.

Parametry
1.1T
Trening danych
112,000,000,000 tokens

112B tokens, or 84B words at 0.75 English words/token. "We pretrain our models on a union of six Englishlanguage datasets, including the five datasets used to pretrain RoBERTa (Liu et al., 2019) and the English subset of CC100, totalling 112B tokens"

Epoki
2.68

Obliczenia treningowe

Arytmetyka wykonywana w celu wytrenowania modelu, mierzone w operacjach na liczbach zmiennoprzecinkowych. Jest to miara kosztu treningu, a nie tego, jak szybko gotowy model odpowiada.

Obliczenia treningowe
2.2 × 10²² FLOP

Reported directly in paper. Authors calculate FLOPs analytically in appendix G

Jak to zostało ustalone
Reported

Trening uruchomienia

Co fizycznie było potrzebne do treningu: które chipy, ile, przez jak długo i ile to pobrało z sieci.

Sprzęt treningowy
NVIDIA A100

Dostępność

Czy możesz uzyskać model i uruchomić go na swoim sprzęcie, co decyduje o tym, czy jakiekolwiek z danych dotyczących karty graficznej na tej stronie mają zastosowanie.

Wagi
Open — downloadable
Dostęp do modelu
Open weights (non-commercial)
Kod treningowy
Unreleased

for research use only https://github.com/facebookresearch/fairseq/tree/main/examples/moe_lm I don't see training code

Jak jest klasyfikowany

Etykiety zastosowane w źródłowym zbiorze danych przy śledzeniu istotnych modeli oraz jak pewny jest wpisu.

Model/modele nie pasuje do VRAM GPU.
Confident
Model/modeli nie pasuje do VRAM GPU. Zbyt ciasne. Wygodne.
241

Źródła

Gdzie ten rekord pochodził i kiedy był ostatnio sprawdzany.

Wersja modelu nie pasuje do VRAM GPU.
Efficient Large Scale Language Modeling with Mixtures of Experts
Ostatnia aktualizacja
25 May 2026

Co oznaczają liczby

Wymagania sprzętowe w praktyce

At 1.1T parameters, MoE-1.1T is beyond what any single graphics card holds. Running it means either splitting it across several cards or renting hardware built for the job — 0 of the cards we track can hold it on their own, and all of them are datacentre parts.

Gdzie to przyszło

MoE-1.1T was published by Meta AI, in United States of America, in December 2021. industry is the category the publisher falls under.

Działa w Polskim i jest rejestrowane jako modelowanie/generowanie języka, odpowiadanie na pytania.

Wagi są opublikowane, więc można je pobrać i uruchomić na własnym sprzęcie przez czas nieokreślony, offline, bez powiązanego konta.

Co poszło w budowę tego?

The training run consumed about 2.2 × 10²² FLOP, on NVIDIA A100. That figure describes the cost of creating it and has no bearing on how quickly it generates text.

It was trained on about 112,000,000,000 tokens of text.

Krok po kroku

Jak wybrać GPU dla MoE-1.1T

Tabela powyżej już oceniła każdą kartę, dla której posiadamy specyfikacje, w porównaniu do tego modelu. Dotarcie do twojej odpowiedzi zajmuje sześć kroków..

  1. 01

    Zacznij od kolumny pamięci

    Every card here has been checked against MoE-1.1T. Capacity is the gate — a card either holds it or it does not.

  2. 02

    Zdecyduj, jak długo będą trwały twoje rozmowy.

    Longer conversations cost memory on top of what the weights need. Move the slider to your real working length before trusting any row for MoE-1.1T.

  3. 03

    Wybierz, jak daleko chcesz to skompresować

    Each card runs the least-compressed copy it can hold. Setting a floor drops the cards that only manage MoE-1.1T by squeezing it further than you would want.

  4. 04

    Porównaj TPS, a nie specyfikacje

    Sort by speed to see how cards rank for MoE-1.1T. It will not match a gaming ordering — generation is bound by memory bandwidth.

  5. 05

    Sprawdź werdykt dotyczący dopasowania przed zakupem

    Tight means MoE-1.1T loads and works, with no room to raise the context later. Comfortable means you can. The difference matters more than a few tokens per second.

  6. 06

    Sprawdź kartę z drugiej strony

    Each card page repeats this sweep for every model we hold. It answers what else the hardware is good for, beyond MoE-1.1T.

Odpowiedzi

MoE-1.1T — Powszechne pytania

01

Is MoE-1.1T open source?

Its weights are published, so MoE-1.1T can be downloaded and run on your own hardware. Note that open weights is not the same as open source in the full sense — it says nothing about the training data, the training code, or the commercial terms attached.

02

How many parameters does MoE-1.1T have?

MoE-1.1T has 1.1T parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.

03

Who created MoE-1.1T?

MoE-1.1T was published by Meta AI, based in United States of America, categorised as industry.

04

When was MoE-1.1T released?

MoE-1.1T was published in December 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.

05

What is MoE-1.1T used for?

MoE-1.1T works in Language, and is recorded as handling language modeling/generation, Question answering. These are the areas it was designed around; they describe intent rather than a hard boundary.

06

Where can I download MoE-1.1T?

The weights for MoE-1.1T are published, though we do not hold a repository link for it. This site calculates hardware requirements rather than hosting model files.

07

How much compute was used to train MoE-1.1T?

Around 2.2 × 10²² FLOP, on NVIDIA A100. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.

08

Can I run MoE-1.1T if it does not fit in my GPU?

It can be split between the card and system memory, but MoE-1.1T generates painfully slowly that way — the nearest miss we calculate is short by 407.0 GB. Nothing on this page assumes offloading.

09

Would two GPUs run MoE-1.1T faster?

Two cards buy memory rather than speed. That matters for MoE-1.1T only if one card cannot hold it — 0 can, so a second adds little.

10

Why does the quantisation differ between cards for MoE-1.1T?

Because capacity varies, so does how hard MoE-1.1T has to be squeezed — 1 distinct levels appear in the table above. Set a minimum quality to compare at one.

11

How accurate are these MoE-1.1T speed estimates?

Są obliczane na podstawie specyfikacji, a nie pomiarów, i każdy ma zakres - zakres poniżej każdej liczby, na przykład. Ten sam model i karta różnią się o trzydzieści do pięćdziesięciu procent w zależności od oprogramowania do wnioskowania i jego wersji.

Źródło

Oryginalna publikacja

Model/modeli nie pasuje do VRAM GPU. Zbyt ciasne. Model działa wygodnie z zapasem. Jak modele AI może GPU uruchomić? 25 May 2026

Inna strona

Patrząc na to z drugiej strony?

Ta strona zaczyna się od modelu. Jeśli już posiadasz kartę i chcesz wiedzieć, co wszystko uruchomi., Model/modele nie mieści się w VRAM GPU..

Wszystkie modele AI