T2R + Random Init
Geen schatting
Geen hardwarevereisten voor dit model
De gewichten voor dit model zijn niet gepubliceerd, dus het kan niet worden gedownload of op uw eigen hardware worden uitgevoerd in welke omvang dan ook. Het is alleen toegankelijk via de provider, en geen grafische kaart verandert dat.
Op record
Volledige specificatie
Alles over dit model vastgelegd. Het meeste beschrijft hoe het getraind is in plaats van hoe het draait — nuttige context om te beoordelen hoeveel werk erin gestoken is en hoe het zich verhoudt tot modellen die op een andere schaal zijn gebouwd.
Oorsprong
Wie heeft dit model gebouwd, waar en wanneer het werd gepubliceerd.
- Organisatie
- University of Washington,Microsoft,DeepMind,Allen Institute for AI
- Organisatie type
- Academia,Industry,Industry,Research collective
- Land
- United States of America, United Kingdom of Great Britain and Northern Ireland
- Gepubliceerd
- 24 March 2021
- Auteurs
- Jungo Kasai, Hao Peng, Yizhe Zhang, Dani Yogatama, Gabriel Ilharco, Nikolaos Pappas, Yi Mao, Weizhu Chen, Noah A. Smith
Wat het doet
De probleemgebieden waarvoor het model is gebouwd. Een model kan er verschillende van elk bevatten.
- Domein
- Language
- Taak
- Language modeling
Grootte
Hoe groot het model is en hoeveel data erop is getraind. Parameters zijn de cijfers die bepalen of het op een bepaalde grafische kaart past.
- Parameters
- 450M
- Opleidingsgegevens
- 103,000,000 tokens
- Epochs
- 205.48
- Batch size
- 74,000
450M source: https://arxiv.org/pdf/2203.12644 table 3
"We train the model with a batch size of about 74K tokens with a total of 286K steps" 74000*286000 / 103000000 = 205.48 epochs
Training berekeningen
De rekeningen die worden uitgevoerd om het model te trainen, gemeten in drijvende-komma-berekeningen. Het is een maat voor wat de trainingsrun kostte, niet hoe snel het voltooide model je antwoordt.
- Training berekeningen
- 2.7 × 10¹⁹ FLOP
- Hoe het werd opgericht
- Operation counting,Hardware
6 FLOP / token / parameter * 450000000 parameters * 74000 tokens per batch * 286000 steps = 5.71428e+19 FLOP 125000000000000 [assumed bf16] * 98 GPU-hours * 3600 sec / hour * 0.3 [assumed utilization] = 1.323e+19 FLOP geometric mean: sqrt(5.71428e+19*1.323e+19) = 2.749544e+19
De trainingsrun
Wat het fysiek kostte om te trainen: welke chips, hoeveel, hoe lang, en wat dat van het net trok.
- Trainingshardware
- NVIDIA V100
- Chips used
- 8
- Chip-uren
- 98
- Energieverbruik
- 4.9 kW
Beschikbaarheid
Of je het model kunt verkrijgen en het op je eigen hardware kunt draaien, wat bepaalt of een van de grafische kaartcijfers op deze pagina van toepassing is.
- Gewichten
- Closed — provider access only
- Model toegang
- Unreleased
- Trainingscode
- Unreleased
There's a repo but it's kind of inscrutable with no docs about T2R, not clear if the training code for this paper is in it: https://github.com/jungokasai/T2R/tree/master
Hoe het is geclassificeerd
Labels de bron dataset toepast bij het volgen van opmerkelijke modellen, en hoe zeker het is van de invoer.
- Vereiste vertrouwen
- Likely
- Citaties
- 94
- Benchmark data
- T2R + Random Init
Bronnen
Waar deze record vandaan komt en wanneer het voor het laatst is gecontroleerd.
- Referentie
- Finetuning Pretrained Transformers into RNNs
- Laatst bijgewerkt
- 25 May 2026
Wat de cijfers betekenen
Achtergrond
T2R + Random Init was published by University of Washington,Microsoft,DeepMind,Allen Institute for AI, in United States of America, in March 2021. academia,Industry,Industry,Research collective is the category the publisher falls under.
Het werkt in Taal, en wordt geregistreerd als het uitvoeren van taalmodellering.
De gewichten zijn nooit gepubliceerd, dus het kan alleen worden bereikt via de aanbieder. Geen enkele grafische kaart verandert dat.
Wat erin is gestopt om het te bouwen
The training run consumed about 2.7 × 10¹⁹ FLOP, on NVIDIA V100. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
The training set ran to roughly 103,000,000 tokens.
Antwoorden
T2R + Random Init — Veelgestelde vragen
What GPU do I need to run T2R + Random Init?
None. T2R + Random Init is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is T2R + Random Init open source?
No. T2R + Random Init has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does T2R + Random Init have?
T2R + Random Init has 450M parameters. 450M source: https://arxiv.org/pdf/2203.12644 table 3. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created T2R + Random Init?
T2R + Random Init was published by University of Washington,Microsoft,DeepMind,Allen Institute for AI, based in United States of America, categorised as academia,Industry,Industry,Research collective.
When was T2R + Random Init released?
T2R + Random Init was published in March 2021. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is T2R + Random Init used for?
T2R + Random Init works in Language, and is recorded as handling language modeling. A model can carry several of each, so these are the areas it was built for rather than a limit on what it will attempt.
How much compute was used to train T2R + Random Init?
Around 2.7 × 10¹⁹ FLOP, on NVIDIA V100. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
De andere richting
Vanuit het andere perspectief bekijken?
Deze pagina begint bij het model. Als u al een kaart bezit en alles wilt weten wat het zal uitvoeren, Begin liever bij de hardware.