Arctic TPS-rekenmachine

Het werkt in het domein van Language, en wordt geregistreerd als het afhandelen van language modeling/generation, Question answering, Code generation, Quantitative reasoning. Modellen hebben vaak meer dan één van elk, en de tags beschrijven het doel in plaats van de capaciteitslimieten.

De gewichten zijn gepubliceerd, hoewel we geen repositorylink daarvoor hebben. Deze site berekent hardwarevereisten in plaats van modelbestanden te hosten.

Training verbruikte ongeveer 3.8 × 10²³ FLOP. Dat meet wat het kosten om het model te produceren en zegt niets over hoe snel het antwoord geeft zodra het getraind is — inferentie snelheid komt van geheugenbandbreedte, niet van het trainingsbudget.

Het kan worden opgesplitst tussen de GPU-kaart en systeemgeheugen, maar het genereert op die manier pijnlijk traag. De dichtstbijzijnde miscalculatie die we berekenen, komt tekort met 60.7 GB Elke figuur hier gaat ervan uit dat het hele model op de kaart staat.

Twee kaarten kopen geheugen in plaats van snelheid, wat alleen van belang is als één kaart het niet kan bevatten. Het aantal dat kan: 3. Dus een tweede card is zelden het antwoord hier.

Elke kaart wordt weergegeven met de minst-gecomprimeerde kopie die hij kan bevatten. Het aantal verschillende compressieniveaus op de kaarten die het kunnen houden: 1. Grotere CARDS krijgen de meer nauwkeurige versie, en de kwaliteitsvloer boven pins beperkt de vergelijking tot één niveau.

Ze worden berekend uit specificaties in plaats van gemeten, en elk heeft een bereik. Een voorbeeld: 11–30 tok/s op B300. Hetzelfde model en kaart variëren met dertig tot vijftig procent, afhankelijk van de inferentiesoftware en de versie ervan.

De kleinste kaart in onze catalogus die het vasthoudt is B300, met een geheugen capaciteit van 288 GB. Het draait het model op een compressie van Q3_K_M ongeveer 235.2 GB, en produceert ongeveer 19.1 tokens per second. Het aantal kaarten dat het totaal kan draaien: 3.

Het hangt af van de kaart. De snelste die we berekenen is B300, ongeveer 19.1 tokens per seconde; de langzaamste die het nog steeds draait haalt aanzienlijk minder. De leessnelheid is rond de tien tokens per seconde, en het aantal kaarten dat dat haalt: 3.

Het heeft ongeveer 235.2 GB bij een compressie van Q3_K_M, welke is wat de kleinste card die het draait gebruikt. Minder compressie heeft meer nodig: de cijfers in de memory-kolom hierboven worden opnieuw berekend voor elke card, omdat elke card de minst gecomprimeerde versie kan vasthouden.

De gewichten zijn gepubliceerd, zodat ze kunnen worden gedownload en op je eigen hardware kunnen worden uitgevoerd. Houd er rekening mee dat OPEN WEIGHTS niet hetzelfde is als open source in de volle zin — het zegt niets over de trainingsdata, de trainingscode of de commerciële voorwaarden die eraan zijn verbonden.

Het heeft een parameter telling van 480B. " It combines a 10B dense transformer model with a residual 128x3.66B MoE MLP resulting in 480B total and 17B active parameters chosen using a top-2 gating.". Dat cijfer is het totaal, en het bepaalt hoeveel MEMORY het MODEL nodig heeft - ongeveer een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.

Het werd gepubliceerd door Snowflake, gebaseerd op United States of America, een organisatie geclassificeerd als industry.

Het werd gepubliceerd in April 2024. De capaciteit per parameter is aanzienlijk verbeterd sinds, zodat een nieuwere model van dezelfde grootte vaak een betere benutting van dezelfde hardware is.