Llama 4 Behemoth (preview)
Nessuna stima
Nessun requisito hardware per questo modello
I pesi per questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul proprio hardware di alcuna dimensione. È accessibile solo tramite il suo fornitore, e nessuna scheda grafica cambia questo..
In registrazione
Specifiche complete
Tutto registrato per questo modello. La maggior parte descrive come è stato addestrato piuttosto che come funziona — contesto utile per valutare quanto lavoro ci sia stato dietro e come si confronta con modelli costruiti su scala differente..
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Meta AI
- Tipo di organizzazione
- Industry
- Paese
- United States of America
- Pubblicato
- 5 April 2025
Cosa fa
Le aree problematiche per cui il modello è stato creato. Un modello può gestire diversi di ciascuno.
- Domini
- Multimodal, Language, Vision
- Spazio
- Chat, Code generation, Visual question answering, Translation, Language modeling/generation, Quantitative reasoning, Question answering
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono la cifra che decide se si adatta a una data scheda grafica.
- parametri
- 2T
- Dati di addestramento
- 30,000,000,000,000 tokens
"Llama 4 Behemoth, a 288 billion active parameter model with 16 experts that is our most powerful yet and among the world’s smartest LLMs."
"The overall data mixture for training consisted of more than 30 trillion tokens, which is more than double the Llama 3 pre-training mixture and includes diverse text, image, and video datasets."
Calcolo di addestramento
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto è costato l'addestramento, non di quanto velocemente il modello finito ti risponde.
- Calcolo di addestramento
- 5.2 × 10²⁵ FLOP
- Come è stato stabilito
- Operation counting
Behemoth's training dataset is at least 30T tokens: https://ai.meta.com/blog/llama-4-multimodal-intelligence/ 6 FLOP / parameter / token * 288 * 10^9 activated parameters * 30 * 10^12 tokens = 5.184e+25 FLOP
L'allenamento in esecuzione
Cosa è servito fisicamente per addestrare: quali chip, quanti, per quanto tempo e quanto ha richiesto dalla rete.
- Hardware di addestramento
- NVIDIA H100 SXM5 80GB
- Chip utilizzati
- 32,000
- Consumo energetico
- 43.9 MW
- Compute cost
- $44,588,964
Disponibilità
Se puoi ottenere il modello e farlo girare sul tuo hardware, il che decide se alcune delle figure della scheda grafica su questa pagina si applicano.
- Pesi
- Closed — provider access only
- Accesso al modello
- Unreleased
- Codice di addestramento
- Unreleased
"While we’re not yet releasing Llama 4 Behemoth as it is still training"
Come è classificato
Etichette sui dataset di origine applicate per il tracciamento dei modelli notevoli e quanto è fiduciosa nell'entry.
- Frontier model
- Yes
- Likely above 10²³ FLOP
- Yes
- Perché è tracciato
- Training cost
- Modello/modelli non si adatta / non si adatterà GPU VRAM. Tight = barely runnable, comodo = runs easily with headroom.
- Likely
Modello/modelli GPU/AI che può eseguire. Non si adatta / non starà. Stretto = appena eseguibile, comodo = esegue facilmente con margine.
Dove è stato registrato questo record e quando è stato controllato l'ultima volta.
- Modello/modelli GPU può eseguire? Non si adatta / non si adatterà. Limitato = difficilmente eseguibile, comodo = esegue facilmente con margine.
- The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation
- Ultimo aggiornamento
- 11 February 2026
Cosa significano i numeri
Dove proviene
Llama 4 Behemoth (preview) was published by Meta AI, in United States of America, in April 2025. industry is the category the publisher falls under.
It works in Multimodal, Language, Vision, and is recorded as doing chat, Code generation, Visual question answering, Translation, Language modeling/generation, Quantitative reasoning, Question answering.
Questo è un modello chiuso: i valori addestrati sono rimasti con chi li ha prodotti e non c'è una versione locale da eseguire.
Addestramento e provenienza
The training run consumed about 5.2 × 10²⁵ FLOP, on NVIDIA H100 SXM5 80GB. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Around 30,000,000,000,000 tokens went into training it.
Its inclusion criterion is training cost.
Modeli/modelli sempre significa modelli AI. Esegui/Esplora significa eseguire un modello AI. Non si adatta / non si adatterà significa che il modello AI non si adatta alla VRAM della GPU. Stretto = appena eseguibile, comodo = funziona facilmente con margine. Termini tecnici come GPU, AI, TPS, VRAM, CUDA, Tensor, Inference, Quantization, LoRA, GGUF, FP16, INT4, INT8 rimangono in inglese. GPU, AI, TPS, VRAM, CUDA devono sempre essere in maiuscolo. Se viene chiesto di tradurre il nome di una lingua (ad es. spagnolo, inglese, lingua), tradurre la parola correttamente. SOLO output la traduzione pura in italiano. Nessun commento, nessuna domanda, nient'altro. Se vuoto rispondi con un singolo spazio: Risposte.
Llama 4 Behemoth (preview) — modello/modelli può GPU eseguire. non si adatta / non si adatterà. stretto = appena eseguibile, confortevole = esegue facilmente con margine.
How many parameters does Llama 4 Behemoth (preview) have?
Llama 4 Behemoth (preview) has 2T parameters. "Llama 4 Behemoth, a 288 billion active parameter model with 16 experts that is our most powerful yet and among the world’s smartest LLMs.". That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Llama 4 Behemoth (preview)?
Llama 4 Behemoth (preview) was published by Meta AI, based in United States of America, categorised as industry.
When was Llama 4 Behemoth (preview) released?
Llama 4 Behemoth (preview) was published in April 2025.
What is Llama 4 Behemoth (preview) used for?
Llama 4 Behemoth (preview) works in Multimodal, Language, Vision, and is recorded as handling chat, Code generation, Visual question answering, Translation, Language modeling/generation, Quantitative reasoning, Question answering. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
How much compute was used to train Llama 4 Behemoth (preview)?
Around 5.2 × 10²⁵ FLOP, on NVIDIA H100 SXM5 80GB. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Llama 4 Behemoth (preview)?
None. Llama 4 Behemoth (preview) is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Llama 4 Behemoth (preview) open source?
No. Llama 4 Behemoth (preview) has not had its weights published, so it exists only as a service controlled by its owner.
L'altra direzione
Guardandolo dall'altro lato?
Questa pagina inizia dal modello. Se possiedi già una scheda e vuoi sapere tutto ciò che eseguirà, inizia dall'hardware invece.