AI-modellen en de GPU's die ze draaien

Een registratie die dekt 3,567 machine learning modellen — wie elke heeft gebouwd, waar, wanneer, hoe groot het is, en of de gewichten zijn gepubliceerd. Het is breder dan een lijst van dingen die je kunt draaien: een model dat niemand kan downloaden heeft nog steeds een specificatie die het waard is om te lezen, en weten wat er bestaat is onderdeel van het beoordelen wat het waard is om te draaien.

Wat deze catalogus anders maakt dan een eenvoudige index, is dat deze is gekoppeld aan een hardwarecalculator. Elk model waarvan de gewichten open zijn en waarvan de grootte in onze database staat, is beoordeeld op basis van elke GPU-kaart waarvoor we specificaties hebben. Open er een en het vertelt je welke kaarten het kunnen draaien, hoeveel VRAM elke nodig heeft, en ongeveer hoeveel tokens per seconde je kunt verwachten.

Het belangrijkste feit over een model is of de gewichten zijn gepubliceerd. De gewichten van een model zijn de getrainde waarden die het maken tot wat het is — honderden miljarden getallen bereikt over maanden van berekeningen. Het publiceren ervan betekent dat iedereen het model kan downloaden en het op zijn eigen hardware kan draaien, permanent, zonder account en zonder netwerkverbinding. Het niet publiceren ervan betekent dat het model alleen bestaat als een dienst, bereikbaar via een interface die de eigenaar controleert.

Die onderscheiding beslist alles op deze site. Een gesloten model kan tegen elke prijs niet lokaal worden uitgevoerd, dus geen enkele verandering in de GPU kaart verandert het antwoord en er geldt geen geheugencijfer voor. Een open-weight model kan worden uitgevoerd door iedereen die hardware heeft die groot genoeg is om het te bevatten, wat "welk model moet ik gebruiken" verandert in een vraag met een hardwareantwoord.

"Open weights" is niet hetzelfde als open source in de zin die de term meestal draagt. Het feit dat de gewichten downloadbaar zijn, zegt niets over de trainingsdata, de trainingscode of de licentie die aan het resultaat is gekoppeld - sommige gepubliceerde modellen staan commercieel gebruik vrij toe, anderen beperken dit. Wat consistent is, is dat het model op jouw machine draait in plaats van op die van iemand anders.

Deze catalogus bevat 3,567 modellen. Van die, 1,335 heb open gewichten en 2,232 do not — ruw 37 In elke honderd is iets dat je vandaag kunt downloaden. Waar de licensing nooit is vastgelegd, tellen we het als gesloten, op het principe dat een onbenoembare licentie er geen is om op te vertrouwen.

Parameters zijn de geleerde waarden binnen een model — de getallen die tijdens de training zijn aangepast en alles coderen wat het weet. Een model dat wordt beschreven als 8B heeft ongeveer acht miljard daarvan, en elk daarvan neemt ruimte in GPU VRAM in beslag. Daarom is het aantal parameters de kolom die hier het belangrijkst is: het is het dichtst bij een directe verklaring van hoeveel hardware een model nodig heeft.

De relatie is dichtbij lineair, maar de constante hangt af van hoe het model wordt opgeslagen. Bij volledige precisie neemt elke parameter twee bytes in beslag, dus een model met acht miljard parameters heeft zestien gigabyte nodig voordat er iets anders in rekening wordt gebracht. Gecomprimeerd tot ongeveer vier bits — wat de meeste mensen die modellen lokaal draaien daadwerkelijk gebruiken — heeft hetzelfde model dichter bij vijf gigabyte nodig, tegen een bescheiden en meestal acceptabele kosten in nauwkeurigheid.

Twee dingen compliceren het. Mixture-of-experts modellen sturen elk token alleen door een fractie van zichzelf, zodat ze tekst genereren met de snelheid van iets veel kleiner terwijl ze toch elke parameter resident in geheugen nodig hebben — snel, maar niet goedkoop om vast te houden. En het gesprek zelf neemt geheugen in beslag dat groeit naarmate het gesprek zich ontwikkelt, wat de reden is dat een model dat comfortabel past voor korte vragen kan falen op een lang document.

Bigger is also not automatically better, and increasingly is not. Capability per parameter has improved sharply enough that a recent model at eight billion parameters routinely outperforms an older one several times its size, while fitting on hardware the older one never would. Sorting this catalogue by release date is usually a better guide than sorting it by size.

Bijna elk model in deze catalogus is afgeleid van een enkel architectonisch idee dat in 2017 is gepubliceerd, in een paper genaamd "Attention Is All You Need". Het introduceerde de transformer, die een hele reeks in één keer verwerkt en leert welke delen ervan betrekking hebben op welke - en vervangt de stapsgewijze recurrente ontwerpen die ervoor kwamen, en schaalt veel beter dan zij deden. Elk model dat hier is vermeld en tekst genereert, is een transformer of een nauw verwant model.

Wat volgde was voornamelijk een demonstratie dat de architectuur bleef verbeteren met schaal. Successieve modellen groeiden met factoren van grootte en werden dienovereenkomstig capabeler, wat de patroon voor verschillende jaren zette: meer parameters, meer trainingsdata, meer berekeningen. Tegen 2020 waren de grootste modellen capabel genoeg om commercieel serieus te zijn, en ze waren alleen bereikbaar als betaalde diensten — de OPEN WEIGHT bleven bij degene die ze getraind hadden.

De omslag kwam in 2023, toen verschillende organisaties begonnen met het publiceren van WEIGHTS voor MODELS die goed genoeg waren om de moeite waard te zijn om te RUNNEN. Dat veranderde de vraag van "welke SERVICE abonneer ik op" naar "wat kan mijn eigen HARDWARE doen", en het is de reden dat een site als deze bestaat. Eerder had de HARDWARE-vraag geen betekenisvol antwoord voor de meeste mensen.

De jaren sindsdien zijn minder over schaal gegaan en meer over efficiëntie. Betere trainingsmethoden, betere data en architectonisch werk zoals mengsels van experts routering hebben allemaal de capaciteit per parameter omhoog geduwd, terwijl kwantisatie — het opslaan van elk gewicht in vier of vijf bits in plaats van zestien — het GEHEUGEN dat een bepaald MODEL nodig heeft met ongeveer driekwart heeft verminderd. Tussen hen in, RUNS die ooit een datacentrum zouden vereisen, lopen nu op een DESKTOP GRAPHICS CARD, wat de praktische ontwikkeling is waarop deze hele catalogus rust.

Het grootste model in onze database is BaGuaLu, bereiken 173.9T parameters. Op die schaal is een model datacenterinfrastructuur in plaats van iets wat een werkstation vasthoudt, en het cijfer is nuttiger als een aanduiding van waar de grens ligt dan als een keuze voor aankopen.

De catalogus dekt werk van 1,314 organisaties, verspreid over 50 landen. Die spreiding is op zichzelf opmerkelijk: de modelontwikkeling is enige tijd geleden gestopt met concentratie in een handvol laboratoria, en verschillende van de meest gebruikte open-weight modellen komen van organisaties die een paar jaar eerder niet bestonden.

Parameter telling worden vastgelegd voor 2,315 invoeren, uit een catalogus houdend 3,567. De hiaten zijn meestal gesloten modellen waarvan de eigenaren nooit een grootte hebben gepubliceerd, en af en toe open modellen die niemand heeft gemeten. Een model zonder dat getal is vermeld maar kan geen geheugen- of snelheidsschatting krijgen, aangezien elke van die berekeningen daarvan uitgaat.

Invoeren beginnen in 1950 en run naar 2026, dus de catalogus is een registratie van het veld in plaats van een momentopname van wat actueel is. Filteren op releasedatum is de snelste manier om het te beperken tot modellen die het overwegen waard zijn.