Linear Transformer (small)
Nessuna stima
Nessun requisito hardware per questo modello
I pesi di questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul vostro hardware a qualsiasi dimensione. È accessibile solo attraverso il suo fornitore, e nessuna scheda grafica può cambiare questo.
In registrazione
Specifiche complete
Tutto ciò che riguarda questo modello. La maggior parte delle informazioni descrive come è stato addestrato piuttosto che come viene eseguito — un contesto utile per valutare la quantità di lavoro impiegata e come si confronta con modelli realizzati su scala diversa.
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- IDSIA,SUPSI
- Tipo di organizzazione
- Academia,Academia
- Paese
- Switzerland
- Pubblicato
- 22 February 2021
- Autori
- Imanol Schlag, Kazuki Irie, Jürgen Schmidhuber
Cosa fa
Le aree problematiche per cui è stato costruito il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Language
- Compito
- Language modeling, Translation
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono il valore che decide se si adatta a una determinata scheda grafica.
- Parametri
- 40M
- Dati di addestramento
- 103,000,000 tokens
- Epoche
- 120
Addestramento computazionale
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto costato l'addestramento, non di quanto velocemente il modello finito ti risponde.
- Addestramento computazionale
- 1.7 × 10¹⁸ FLOP
- Come è stato stabilito
- Operation counting
"For the small and medium configurations, we use batch sizes of 96 and 56 sequences, respectively, and train for about 120 and 70 epochs." Training compute: 6*40000000*70*103000000=1.7304e+18
Il training run
Cosa è stato fisicamente necessario per addestrare: quali chip, quanti, per quanto tempo e cosa ha richiesto dalla rete elettrica.
- Hardware di addestramento
- NVIDIA V100
- Chips used
- 2
- Consumo energetico
- 1.2 kW
Disponibilità
Se puoi ottenere il modello e eseguirlo sul tuo hardware, il che decide se una delle cifre della scheda grafica su questa pagina si applica.
- Pesi
- Closed — provider access only
- Accesso al modello
- Unreleased
- Codice di addestramento
- Open source
code, Apache license: https://github.com/IDSIA/lmtool-fwp/tree/master/example_scripts/2021_linear_transformers_are_secretly_fwps
Come è classificato
Etichette che il dataset sorgente applica quando si monitorano modelli notevoli e quanto è fiducioso nell'entry.
- Registrare fiducia
- Confident
- Citazioni
- 405
- Benchmark data
- Linear Transformer (small)
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- Linear Transformers Are Secretly Fast Weight Programmers
- Ultimo aggiornamento
- 25 May 2026
Cosa significano i numeri
Where it came from
Linear Transformer (small) was published by IDSIA,SUPSI, in Switzerland, in February 2021. The organisation is categorised as academia,Academia.
It works in Language, and is recorded as doing language modeling, Translation.
Because the weights are not available, none of the hardware figures elsewhere on this site apply to it.
Formazione e provenienza
Training it took roughly 1.7 × 10¹⁸ FLOP of computation, on NVIDIA V100 — a measure of what producing the model cost, not of how fast it answers.
The training set ran to roughly 103,000,000 tokens.
Risposte
Linear Transformer (small) — Domande frequenti
How much compute was used to train Linear Transformer (small)?
Around 1.7 × 10¹⁸ FLOP, on NVIDIA V100. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Linear Transformer (small)?
None. Linear Transformer (small) is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Linear Transformer (small) open source?
No. Linear Transformer (small) has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Linear Transformer (small) have?
Linear Transformer (small) has 40M parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Linear Transformer (small)?
Linear Transformer (small) was published by IDSIA,SUPSI, based in Switzerland, categorised as academia,Academia.
When was Linear Transformer (small) released?
Linear Transformer (small) was published in February 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Linear Transformer (small) used for?
Linear Transformer (small) works in Language, and is recorded as handling language modeling, Translation. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
L'altra direzione
Guardando la questione dall'altra parte?
Questa pagina inizia dal modello. Se possedete già una scheda e desiderate conoscere tutto ciò che può eseguire, inizia dall'hardware invece.