Big Transformer for Back-Translation
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello sono open weight, ma non è stato pubblicato alcun conteggio dei parametri. Ogni figura di memory e velocità parte da quel numero, quindi preferiremmo non mostrare nulla piuttosto che una stima fabbricata..
In registrazione
specifiche complete
Tutto in archivio per questo modello. La maggior parte descrive come è stato addestrato piuttosto che come gira — contesto utile per giudicare quanto lavoro c'è stato dietro, e come si confronta con i modelli costruiti su una scala diversa..
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Facebook AI Research,Google Brain
- Tipo di organizzazione
- Industry,Industry
- Paese
- United States of America, France
- Pubblicato
- 28 August 2018
- Autori
- Sergey Edunov, Myle Ott, Michael Auli, David Grangier
Cosa fa
Le aree problematiche per cui è stato progettato il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Language
- Compito
- Translation
- Approccio
- Supervised
- Formato numerico
- FP16
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono la cifra che decide se si adatta a una determinata scheda grafica.
- Dati di addestramento
- 4,520,000,000 tokens
"Finally, for WMT English-German we train on all 226M available monolingual training sentences and perform 250K updates in 22.5 hours on 128 GPUs." We assume that 1 sentence have 15 words
Calcolo di addestramento
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto è costato il run di addestramento, e non di quanto velocemente il modello finito ti risponde.
- Calcolo di addestramento
- 4.8 × 10²⁰ FLOP
- Come è stato stabilito
- Hardware
(128) * (1.25e14) * (27*3600 + 40*60) * (0.3) = 4.7808e20 (number of gpus) * (peak flops) * (seconds) * (assumed utilization rate) "We run experiments on DGX-1 machines with 8Nvidia V100 GPUs and machines are interconnected by Infiniband. Experiments are run on 16 machines and we perform 30K synchronous updates." "We also use the NCCL2 library [...] with 16-bit floating point operations" NCCL2 supported tensor core operations at 1.25e14 FLOP/s on a V100 for FP16 in section 5.6 we have "t…
La corsa di addestramento
Cosa ha richiesto fisicamente per addestrare: quali chip, quanti, per quanto tempo e cosa ha prelevato dalla presa.
- Hardware di addestramento
- NVIDIA Tesla V100 DGXS 16 GB
- Chip utilizzati
- 128
- Chip-ore
- 3,541
- Tempo di parete
- 28 hours
- Consumo energetico
- 66.2 kW
- Costo di calcolo
- $2,442
"training updates in 27h 40min on 128 GPUs"
Disponibilità
Se puoi ottenere il modello e farlo funzionare sul tuo hardware, il che decide se alcune delle cifre della scheda grafica su questa pagina sono applicabili.
- Pesi
- Open — downloadable
- Accesso al modello
- Open weights (unrestricted)
- Codice di addestramento
- Open source
Code and weights, MIT license: https://github.com/facebookresearch/fairseq/blob/main/examples/backtranslation/README.md
Come è classificato
Etichette del dataset sorgente si applicano quando si tracciano modelli notevoli, e quanto è sicuro nell'entry.
- Perché è monitorato
- Highly cited,SOTA improvement
- Record fiducia
- Likely
- Citazioni
- 1,155
"Finally, we scale to hundreds of millions of monolingual sentences and achieve a new state of the art of 35 BLEU on the WMT'14 English-German test set. "
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- Understanding Back-Translation at Scale
- Ultimo aggiornamento
- 28 November 2025
Cosa significano i numeri
Sfondo
Big Transformer for Back-Translation è stato pubblicato da Facebook AI Research,Google Brain, nel paese registrato come United States of America, durante August 2018. L'organizzazione di pubblicazione è classificata come industry,Industry.
Funziona nel dominio di Language, ed è registrato come eseguire il compito di translation.
I pesi pubblicati significano che il modello gira sulla tua macchina piuttosto che su quella di qualcun altro, il che rende la domanda sull'hardware qui sotto rispondibile.
Cosa è stato necessario per costruirlo
Il training ha richiesto un budget di calcolo di circa 4.8 × 10²⁰ FLOP, su hardware registrato come NVIDIA Tesla V100 DGXS 16 GB. Quella cifra misura quanto è costata la produzione del modello e non ha alcun impatto su quanto velocemente risponde.
L'addestramento ha consumato un corpus di circa 4,520,000,000 token di testo
Il motivo per cui appare in questo catalogo è: highly cited,SOTA improvement.
Risposte
Big Transformer for Back-Translation — domande comuni
Big Transformer for Back-Translation— quando è stato rilasciato?
È stato pubblicato in August 2018. La capacità per parametro è migliorata considerevolmente da allora, quindi un modello più recente della stessa dimensione è spesso un uso migliore dello stesso hardware.
Big Transformer for Back-Translation— A cosa serve?
Funziona nel dominio di Language, e viene registrato come gestire il compito di translation. I modelli portano frequentemente più di uno di ciascuno, e le etichette descrivono lo scopo piuttosto che i limiti di capacità.
Big Transformer for Back-Translation— Dove posso scaricarlo?
I pesi sono pubblicati, anche se non abbiamo un link al repository per essi. Questo sito calcola i requisiti hardware anziché ospitare file di modello.
Big Transformer for Back-Translation— quanto calcolo è stato utilizzato per addestrarlo?
L'addestramento ha consumato circa 4.8 × 10²⁰ FLOP, su hardware registrato come NVIDIA Tesla V100 DGXS 16 GB. Questo misura quanto costa produrre il modello e non dice nulla su quanto rapidamente risponde una volta addestrato — la velocità di inferenza deriva dalla larghezza di banda della memoria, non dal budget di addestramento.
Big Transformer for Back-Translation— che GPU ho bisogno per eseguirlo?
Non possiamo dire. Ha pesi aperti, ma non è stato pubblicato alcun conteggio dei parametri per esso, e ogni calcolo di memoria e velocità parte da quel numero. Preferiremmo non mostrare nulla piuttosto che una stima fabbricata.
Big Transformer for Back-Translation— è open-source?
I suoi pesi sono pubblicati, quindi può essere scaricato e eseguito sul proprio hardware. Si noti che OPEN WEIGHTS non è lo stesso di OPEN SOURCE nel senso completo — non dice nulla sui dati di addestramento, sul codice di addestramento o sui termini commerciali allegati.
Big Transformer for Back-Translation— quanti parametri ha?
Non è stato pubblicato alcun conteggio dei parametri per esso, motivo per cui non appare alcun dato sulla memoria o sulla velocità su questa pagina.
Big Transformer for Back-Translation— chi l'ha creato?
È stato pubblicato da Facebook AI Research,Google Brain, basato su United States of America, un'organizzazione categorizzata come industry,Industry.
L'altra direzione
Guardandolo dall'altro lato?
Questa pagina parte dal modello. Se possiedi già una scheda e vuoi sapere tutto ciò che farà funzionare, inizia dall'hardware invece.