Transformer
Nessuna stima
Nessun requisito hardware per questo modello
I pesi per questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul proprio hardware di qualsiasi dimensione. È accessibile solo attraverso il suo fornitore e nessun cambiamento della scheda grafica che.
In registrazione
specifiche complete
Tutto in archivio per questo modello. La maggior parte descrive come è stato addestrato piuttosto che come gira — contesto utile per giudicare quanto lavoro c'è stato dietro, e come si confronta con i modelli costruiti su una scala diversa..
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Google Research,Google Brain
- Tipo di organizzazione
- Industry,Industry
- Paese
- United States of America
- Pubblicato
- 12 June 2017
- Autori
- Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
Cosa fa
Le aree problematiche per cui è stato progettato il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Language
- Compito
- Translation
- Approccio
- Self-supervised learning
- Formato numerico
- FP32
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono la cifra che decide se si adatta a una determinata scheda grafica.
- parametri
- 213M
- Dati di addestramento
- 832,000,000 tokens
- Epoche
- 3
This page suggests the transformer has 213M parameters. "Although there are others architectures that make use of attention layers, none achieves so good results so fast. Not only that, but the only model that can compite against Transformer is the Slicenet22, proposed just fifteen days before. It takes much longer to train, due to the huge amount of parameters it requires (348 million against the 213 millions of Transformer), and the BLEU scores it achieves are slightly worse on average. In sh…
"We trained on the standard WMT 2014 English-German dataset consisting of about 4.5 million sentence pairs. Sentences were encoded using byte-pair encoding [3], which has a shared source-target vocabulary of about 37000 tokens. For English-French, we used the significantly larger WMT 2014 English-French dataset consisting of 36M sentences and split tokens into a 32000 word-piece vocabulary " In total, this is 40.5 million sentence-pairs. Assuming each sentence pair is 15-20 words in each langua…
Calcolo di addestramento
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto è costato il run di addestramento, e non di quanto velocemente il modello finito ti risponde.
- Calcolo di addestramento
- 7.4 × 10¹⁸ FLOP
- Come è stato stabilito
- Hardware,Third-party estimation
"The model was trained during 300000 steps, roughly 3.5 days, using 8 NVIDIA P100 GPUs." source: https://ricardokleinklein.github.io/2017/11/16/Attention-is-all-you-need.html NVIDIA Tesla P100 has 9.3 teraFLOPS single-precision performance source: https://www.nvidia.com/en-gb/data-center/tesla-p100/ We assume 0.33 utilization performance, in line with OpenAI's "AI and compute" article source: https://openai.com/blog/ai-and-compute/ 9.3*10^12 FLOP / GPU / sec * 8 GPUs * 3.5 days * 24 hour /…
La corsa di addestramento
Cosa ha richiesto fisicamente per addestrare: quali chip, quanti, per quanto tempo e cosa ha prelevato dalla presa.
- Hardware di addestramento
- NVIDIA P100
- Chip utilizzati
- 8
- Chip-ore
- 672
- Tempo di parete
- 84 hours
- Consumo energetico
- 4.2 kW
- Costo di calcolo
- $438
We trained our models on one machine with 8 NVIDIA P100 GPUs. For our base models using the hyperparameters described throughout the paper, each training step took about 0.4 seconds. We trained the base models for a total of 100,000 steps or 12 hours. For our big models,(described on the bottom line of table 3), step time was 1.0 seconds. The big models were trained for 300,000 steps (3.5 days).
Disponibilità
Se puoi ottenere il modello e farlo funzionare sul tuo hardware, il che decide se alcune delle cifre della scheda grafica su questa pagina sono applicabili.
- Pesi
- Closed — provider access only
- Accesso al modello
- Unreleased
- Codice di addestramento
- Unreleased
Come è classificato
Etichette del dataset sorgente si applicano quando si tracciano modelli notevoli, e quanto è sicuro nell'entry.
- Perché è monitorato
- Highly cited,Historical significance
- Record fiducia
- Confident
- Citazioni
- 159,251
The original transformer
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- Attention Is All You Need
- Ultimo aggiornamento
- 1 January 2026
Cosa significano i numeri
Da dove è venuto
Transformer è stato pubblicato da Google Research,Google Brain, nel paese registrato come United States of America, durante June 2017. L'organizzazione di pubblicazione è classificata come industry,Industry.
Funziona nel dominio di Language, ed è registrato come eseguire il compito di translation.
I suoi pesi non sono mai stati pubblicati, quindi può essere raggiunto solo attraverso il suo fornitore. Nessuna scheda GPU cambia questo.
Addestramento e provenienza
La produzione di esso ha richiesto un'aritmetica totale di circa 7.4 × 10¹⁸ FLOP, su hardware registrato come NVIDIA P100. Quella cifra misura quanto è costata la produzione del modello e non ha alcun impatto su quanto velocemente risponde.
L'addestramento ha consumato un corpus di circa 832,000,000 token di testo
È tracciato nel dataset sottostante per una ragione in particolare: highly cited,Historical significance.
Risposte
Transformer — domande comuni
Transformer— quanto calcolo è stato utilizzato per addestrarlo?
L'addestramento ha consumato circa 7.4 × 10¹⁸ FLOP, su hardware registrato come NVIDIA P100. Questo misura quanto costa produrre il modello e non dice nulla su quanto rapidamente risponde una volta addestrato — la velocità di inferenza deriva dalla larghezza di banda della memoria, non dal budget di addestramento.
Transformer— che GPU ho bisogno per eseguirlo?
Nessuno. Questo è un modello chiuso - i suoi pesi non sono mai stati pubblicati, quindi non può essere scaricato o eseguito sul tuo hardware a qualsiasi prezzo. È accessibile solo attraverso il suo fornitore.
Transformer— è open-source?
No. I pesi non sono stati pubblicati, quindi esiste solo come servizio controllato dal suo proprietario.
Transformer— quanti parametri ha?
Ha un numero di parametri di 213M. This page suggests the transformer has 213M parameters. "Although there are others architectures that make use of attention layers, none achieves so good results so fast. Not only that, but the only model that can compite against Transformer is the Slicenet22, proposed just fifteen days before. It takes much longer to train, due to the huge amount of parameters it requires (348 million against the 213 millions of Transformer), and the BLEU scores it achieves are slightly worse on average. In short, up to date it offers no profit over Transformer." https://ricardokleinklein.github.io/2017/11/16/Attention-is-all-you-need.html. Quella cifra è il totale, ed è ciò che decide quanto memoria il modello ha bisogno — circa mezzo gigabyte per miliardo alla compressione che la maggior parte delle persone usa.
Transformer— chi l'ha creato?
È stato pubblicato da Google Research,Google Brain, basato su United States of America, un'organizzazione categorizzata come industry,Industry.
Transformer— quando è stato rilasciato?
È stato pubblicato in June 2017. La capacità per parametro è migliorata considerevolmente da allora, quindi un modello più recente della stessa dimensione è spesso un uso migliore dello stesso hardware.
Transformer— A cosa serve?
Funziona nel dominio di Language, e viene registrato come gestire il compito di translation. Queste sono le aree su cui è stato progettato; descrivono l'intento piuttosto che un confine rigido.
L'altra direzione
Guardandolo dall'altro lato?
Questa pagina parte dal modello. Se possiedi già una scheda e vuoi sapere tutto ciò che farà funzionare, inizia dall'hardware invece.