Switch TPS-rekenmachine
Elke kaart hieronder wordt beoordeeld op basis van dit model met de contextlengte en minimale kwaliteit die je kiest. Snelheid is een schatting voor een enkele aanvraag, berekend op basis van de geheugendoorvoer van de kaart en de grootte van het model eenmaal gecomprimeerd..
Bereken voor dit model
818 kaarten die we hebben specificaties voor
Welke GPU's kunnen draaien Switch?
Stel de invoer in, lees het antwoord
Een langere conversatie heeft meer geheugen nodig, wat dit model van kleinere kaarten kan duwen..
Verbergt kaarten die alleen in het model passen door het onder dit punt te comprimeren.
0 kaarten passen
Berekenen| Heeft | Kwantificatie | Past | |||||
|---|---|---|---|---|---|---|---|
|
Geen kaart in onze catalogus kan dit model met deze instellingen draaien.. |
|||||||
Snelheden zijn schattingen voor een enkele aanvraag — één gesprek tegelijk — berekend vanuit geheugendebandbreedte, modelgrootte en kwantisatie. De werkelijke doorvoer varieert met de inferentietijd en de versie ervan. Cijfers gepubliceerd door hardwareleveranciers meten veel gelijktijdige aanvragen en zijn veel hoger.
Op record
Volledige specificatie
Alles wat geregistreerd is voor dit model. Het merendeel beschrijft hoe het getraind werd in plaats van hoe het draait - nuttige context om te beoordelen hoeveel werk erin is gestoken, en hoe het zich verhoudt tot modellen die op een andere schaal zijn gebouwd..
Oorsprong
Wie heeft dit model gebouwd, waar, en wanneer het gepubliceerd werd.
- Organisatie
- Organisatietype
- Industry
- Land
- United States of America
- Gepubliceerd
- 11 January 2021
- Auteurs
- William Fedus, Barret Zoph, Noam Shazeer
Wat het doet
De probleemgebieden waarvoor het model is gebouwd. Een model kan meerdere van elk bevatten.
- Domein
- Language
- Taak
- Text autocompletion
- Aanpak
- Self-supervised learning
- Numerieke indeling
- BF16
Grootte
Hoe groot het model is en hoeveel data het is getraind. Parameters zijn het cijfer dat bepaalt of het past op een gegeven grafische kaart.
- parameters
- 1.6T
- Training gegevens
- 86,400,000,000 tokens
"Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters
"In our protocol we pre-train with 2^20 (1,048,576) tokens per batch for 550k steps amounting to 576B total tokens." 1 token ~ 0.75 words
Training rekenen
De berekeningen uitgevoerd om het model te trainen, gemeten in drijvende-komma-operaties. Het is een maat voor wat de trainingsrun kostte, niet voor hoe snel het voltooide model je beantwoordt.
- Training rekenen
- 8.2 × 10²² FLOP
- Hoe het werd opgericht
- Third-party estimation
Table 4 https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
De trainingsrun
Wat het fysiek kostte om te trainen: welke chips, hoeveel, hoe lang, en wat dat van het stopcontact vroeg.
- Training hardware
- Google TPU v3
- Gebruikte chips
- 1,024
- Chip-uren
- 663,552
- Kloktijd
- 648 hours (27 days)
- Hardwaregebruik
- HFU 28.0%
- Stroomverbruik
- 935.4 kW
- Rekenkosten
- $145,101
see table 4 in https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf
Table 4 in https://arxiv.org/pdf/2104.10350 gives measured performance of 34.4 TFLOP/s, vs. peak achievable FLOP/s of 123 TFLOP/s on the TPUv3 being used. HFU = 34.4/123 = 0.27967
Beschikbaarheid
Of je het model kunt verkrijgen en het op je eigen hardware kunt draaien, wat bepaalt of een van de grafische kaartcijfers op deze pagina van toepassing is.
- Gewichten
- Open — downloadable
- Toegang tot model
- Open weights (unrestricted)
- Training code
- Unreleased
Apache 2 for weights: https://huggingface.co/google/switch-c-2048 paper links to this repo but not clear that the training hyperparams for Switch are here: https://github.com/google-research/t5x
Hoe het is geclassificeerd
Labels van de brondataset die worden toegepast bij het volgen van opmerkelijke modellen, en hoe zeker het is van de invoer.
- Grensmodel
- Yes
- Waarom het wordt gevolgd
- Highly cited,SOTA improvement
- Record vertrouwen
- Confident
- Citaties
- 3,888
" On ANLI (Nie et al., 2019), Switch XXL improves over the prior state-of-the-art to get a 65.7 accuracy versus the prior best of 49.4 (Yang et al., 2020)... Finally, we also conduct an early examination of the model’s knowledge with three closed-book knowledge-based tasks: Natural Questions, WebQuestions and TriviaQA, without additional pre-training using Salient Span Masking (Guu et al., 2020). In all three cases, we observe improvements over the prior stateof-the-art T5-XXL model (without SSM…
Bronnen
Waar deze record vandaan kwam en wanneer deze voor het laatst is gecontroleerd.
- Referentie
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
- Laatst bijgewerkt
- 25 May 2026
Wat de cijfers betekenen
Wat je nodig hebt om het te draaien
Switch bereikt een parameter telling van 1.6T. Dat is meer dan wat enige enkele grafische kaart bevat. Het draaien ervan betekent ofwel het splitsen over meerdere kaarten of het huren van hardware die voor de klus is gebouwd, en elke kaart die het alleen kan vasthouden, is een datacenteronderdeel. Het aantal dat kan: 0.
Achtergrond
Switch werd gepubliceerd door Google, in het land geregistreerd als United States of America, tijdens January 2021. De publicerende organisatie is geclassificeerd als industry.
Het werkt in het domein van Language, en wordt geregistreerd als het uitvoeren van de taak van text autocompletion.
De gewichten zijn gepubliceerd, zodat ze gedownload en onbeperkt, offline, op je eigen hardware kunnen worden uitgevoerd, zonder dat er een account aan verbonden is.
Training en herkomst
De training run verbruikte ongeveer 8.2 × 10²² FLOP, op hardware vastgelegd als Google TPU v3. Die figuur meet wat het produceren van het model heeft gekost en heeft geen invloed op hoe snel het antwoord geeft.
Training verbruikte een corpus van ongeveer 86,400,000,000 tekstokens
Het wordt gevolgd in de onderliggende dataset om één specifieke reden: highly cited,SOTA improvement.
Stap voor stap
Hoe een GPU te kiezen voor Switch
De tabel hierboven heeft elke kaart die we specificaties voor hebben al vergeleken met dit model. Het bereiken van uw antwoord kost zes stappen..
-
01
Lees eerst de geheugenfiguur
Begin met wat het eigenlijk nodig heeft, namelijk de vereiste van Switch. Die figuur, niet de hoofdtitelprestaties van een kaart, is wat bepaalt of het draait.
-
02
Bepaal hoe lang je gesprekken duren
Het gesprek verbruikt ook geheugen en groeit naarmate het vordert. Stel de schuifregelaar in op de lengte die je verwacht, want bij lange CONTEXT kan een KAART die korte vragen gemakkelijk afhandelt, verworpen worden door Switch.
-
03
Bepaal hoeveel compressie je accepteert
Compressie is wat een model laat passen op kleinere kaarten, tegen een bepaalde kost in nauwkeurigheid.. Het instellen van een minimumkwaliteit laat de kaarten vallen die het alleen maar beheersen door verder te persen dan je zou willen, en houdt de vergelijking op één niveau.
-
04
Sorteer op snelheid
Sorteren op snelheid om te zien hoe de kaarten gerangschikt zijn voor Switch. Het zal niet passen bij een gaming bestelling, omdat generatie gebonden is aan geheugenbandbreedte.
-
05
Lees de passen kolom laatst
De fit-kolom scheidt kaarten die het net halen van die met ruimte over, in het geval van Switch. Comfortabel betekent dat je de context later kunt vergroten. Dat verschil is belangrijker dan een paar tokens per seconde, dus koop voor comfortabel als je dat verwacht.
-
06
Zie wat die kaart nog meer draait
Het volgen van een GPU-kaart naar zijn eigen pagina toont elk ander model dat het kan bevatten, wat de vraag is die volgt zodra je je hebt ingesteld op Switch.
Antwoorden
Switch — veelgestelde vragen
Switch— waarvoor wordt het gebruikt?
Het werkt in het domein van Language, en wordt geregistreerd als het afhandelen van text autocompletion. Dit zijn de gebieden waar het omheen is ontworpen; ze beschrijven intentie eerder dan een harde grens.
Switch— waar kan ik het downloaden?
De gewichten zijn gepubliceerd, hoewel we geen repositorylink daarvoor hebben. Deze site berekent hardwarevereisten in plaats van modelbestanden te hosten.
Switch— hoeveel rekencapaciteit is gebruikt om het te trainen?
Training verbruikte ongeveer 8.2 × 10²² FLOP, op hardware vastgelegd als Google TPU v3. Dat meet wat het kosten om het model te produceren en zegt niets over hoe snel het antwoord geeft zodra het getraind is — inferentie snelheid komt van geheugenbandbreedte, niet van het trainingsbudget.
Switch— kan ik het draaien als het niet in mijn GPU past?
Het kan worden opgesplitst tussen de GPU-kaart en systeemgeheugen, maar het genereert op die manier pijnlijk traag. De dichtstbijzijnde miscalculatie die we berekenen, komt tekort met 691.9 GB Elke figuur hier gaat ervan uit dat het hele model op de kaart staat.
Switch— Zouden twee GPU's het sneller draaien?
Twee kaarten kopen geheugen in plaats van snelheid, wat alleen van belang is als één kaart het niet kan bevatten. Het aantal dat kan: 0. Dus een tweede card is zelden het antwoord hier.
Switch— waarom verschilt de quantisatie tussen kaarten?
Een grotere CARD houdt een nauwkeuriger kopie. Het aantal compressieniveaus dat gebruikt wordt op de CARDS die het draaien: 1. Grotere CARDS krijgen de meer nauwkeurige versie, en de kwaliteitsvloer boven pins beperkt de vergelijking tot één niveau.
Switch— hoe nauwkeurig zijn deze snelheidsschattingen?
Dit zijn schattingen met echte foutmarges, en elk van hen zou redelijkerwijs ergens binnen zijn gepubliceerde bereik kunnen vallen, afhankelijk van welke runtime je gebruikt. Het snelste resultaat hier: de reeks onder elk cijfer. Hetzelfde model en kaart variëren met dertig tot vijftig procent, afhankelijk van de inferentiesoftware en de versie ervan.
Switch— is het open-source?
De gewichten zijn gepubliceerd, zodat ze kunnen worden gedownload en op je eigen hardware kunnen worden uitgevoerd. Houd er rekening mee dat OPEN WEIGHTS niet hetzelfde is als open source in de volle zin — het zegt niets over de trainingsdata, de trainingscode of de commerciële voorwaarden die eraan zijn verbonden.
Switch— hoeveel parameters heeft het?
Het heeft een parameter telling van 1.6T. "Combining expert, model and data parallelism, we design two large Switch Transformer models, one with 395 billion and 1.6 trillion parameters" Table 9 gives more precise count of 1571B parameters. Dat cijfer is het totaal, en het bepaalt hoeveel MEMORY het MODEL nodig heeft - ongeveer een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.
Switch— wie heeft het gemaakt?
Het werd gepubliceerd door Google, gebaseerd op United States of America, een organisatie geclassificeerd als industry.
Switch— wanneer is het uitgebracht?
Het werd gepubliceerd in January 2021. De capaciteit per parameter is aanzienlijk verbeterd sinds, zodat een nieuwere model van dezelfde grootte vaak een betere benutting van dezelfde hardware is.
De andere richting
Van de andere kant bekijken?
Deze pagina begint met het model. Als je al een kaart bezit en alles wilt weten wat het zal draaien, begin in plaats van de hardware.