AI-Modelle und die GPUs, die sie ausführen

Ein Bericht über 3,567 Maschinenlernmodelle — wer jedes einzelne gebaut hat, wo, wann, wie groß es ist und ob seine Gewichte veröffentlicht wurden. Es ist umfassender als eine Liste von Dingen, die du ausführen kannst: ein Modell, das niemand herunterladen kann, hat immer noch eine Spezifikation, die lesenswert ist, und zu wissen, was existiert, ist Teil der Beurteilung, was es wert ist, ausgeführt zu werden.

Was diesen Katalog von einem einfachen Index unterscheidet, ist, dass er an einen Hardware-Rechner angeschlossen ist. Jedes Modell, dessen Gewichte offen sind und dessen Größe aufgezeichnet ist, wurde im Vergleich zu jeder Grafikkarte bewertet, für die wir Spezifikationen haben. Öffnen Sie einen, und er zeigt Ihnen, welche Karten es ausführen können, wie viel Speicher jede benötigt und grob, wie viele TPS pro Sekunde zu erwarten sind.

Die einzig entscheidende Tatsache über ein Modell ist, ob seine Gewichte veröffentlicht wurden. Die Gewichte eines Modells sind die trainierten Werte, die es zu dem machen, was es ist – Hunderte von Milliarden von Zahlen, die über Monate berechnet wurden. Ihre Veröffentlichung bedeutet, dass jeder das Modell herunterladen und es auf seiner eigenen Hardware dauerhaft ausführen kann, ohne Konto und ohne Netzwerkverbindung. Ihre Nichtveröffentlichung bedeutet, dass das Modell nur als Dienst existiert, der über eine Schnittstelle erreicht werden kann, die sein Eigentümer kontrolliert.

Diese Unterscheidung entscheidet alles andere auf dieser Seite. Ein geschlossenes Modell kann zu keinem Preis lokal ausgeführt werden, sodass keine Menge an Grafikkarten die Antwort ändert und keine Speicherkapazität dafür gilt. Ein offenes Gewichtmodell kann von jedem ausgeführt werden, der über Hardware verfügt, die groß genug ist, um es zu halten, wodurch "Welches Modell sollte ich verwenden" zu einer Frage mit einer Hardwareantwort wird.

"Offene Gewichte" ist nicht dasselbe wie Open Source im Sinne, das der Begriff normalerweise trägt. Die herunterladbaren Gewichte sagen nichts über die Trainingsdaten, den Trainingscode oder die Lizenz, die an das Ergebnis angehängt ist - einige veröffentlichte Modelle ermöglichen die kommerzielle Nutzung kostenlos, andere beschränken sie. Was konstant ist, ist, dass das Modell auf Ihrer Maschine läuft und nicht auf der eines anderen.

Dieser Katalog enthält 3,567 Modelle. Von denen, 1,335 haben offene Gewichte und 2,232 nicht — grob 37 In jedem Hundert ist etwas, das Sie heute herunterladen könnten. Wo die Lizenz nie aufgezeichnet wurde, zählen wir es als geschlossen, nach dem Prinzip, dass eine nicht erklärte Lizenz keine ist, auf die man sich verlassen kann.

Parameter sind die gelernten Werte innerhalb eines Modells — die Zahlen, die während des Trainings angepasst werden und alles codieren, was es weiß. Ein als 8B beschriebenes Modell hat etwa acht Milliarden davon, und jede nimmt Platz im Speicher ein. Deshalb ist die Parameteranzahl die Spalte, die hier am wichtigsten ist: sie ist das nächstgelegene zu einer direkten Aussage darüber, wie viel Hardware ein Modell benötigt.

Die Beziehung ist nahezu linear, aber die Konstante hängt davon ab, wie das Modell gespeichert wird. Bei voller Präzision benötigt jeder Parameter zwei Bytes, daher benötigt ein Modell mit acht Milliarden Parametern sechzehn Gigabyte, bevor irgendetwas anderes berücksichtigt wird. Komprimiert auf etwa vier Bits – was die meisten Menschen, die Modelle lokal ausführen, tatsächlich verwenden – benötigt dasselbe Modell näher an fünf, zu einem bescheidenen und in der Regel akzeptablen Kosten in der Genauigkeit.

Zwei Dinge komplizieren es. Mixture-of-Experts-Modelle leiten jedes Token nur durch einen Bruchteil von sich selbst, sodass sie Text mit der Geschwindigkeit von etwas viel Kleinerem generieren, während dennoch jeder Parameter im Speicher vorhanden sein muss — schnell, aber nicht billig zu halten. Und das Gespräch selbst benötigt Speicher, der wächst, während das Gespräch verläuft, weshalb ein Modell, das für kurze Fragen bequem passt, bei einem langen Dokument fehlschlagen kann.

Größer ist auch nicht automatisch besser, und zunehmend ist es das nicht. Die Leistungsfähigkeit pro Parameter hat sich so stark verbessert, dass ein aktuelles Modell mit acht Milliarden Parametern routinemäßig ein älteres Modell, das mehrere Male größer ist, übertrifft, während es auf Hardware passt, auf der das ältere Modell niemals passen würde. Dieses Katalog nach Veröffentlichungsdatum zu sortieren, ist normalerweise ein besserer Leitfaden als ihn nach Größe zu sortieren.

Fast jedes Modell in diesem Katalog stammt von einer einzigen architektonischen Idee, die 2017 in einem Papier mit dem Titel "Attention Is All You Need" veröffentlicht wurde. Es führte den Transformer ein, der eine ganze Sequenz auf einmal verarbeitet und lernt, welche Teile davon auf welche einzelne Einfluss nehmen — und ersetzt die schrittweisen rekursionalen Designs, die zuvor kamen, und skalierte erheblich besser als diese. Jedes hier aufgeführte Modell, das Text generiert, ist ein Transformer oder ein naher Verwandter davon.

Was folgte, war hauptsächlich eine Demonstration, dass die Architektur mit der Skalierung weiterhin verbessert wurde. Nachfolgende Modelle wuchsen um Größenordnungen und wurden entsprechend leistungsfähiger, was das Muster für mehrere Jahre setzte: mehr Parameter, mehr Trainingsdaten, mehr Berechnung. Bis 2020 waren die größten Modelle ausreichend leistungsfähig, um kommerziell ernst zu sein, und sie waren nur als kostenpflichtige Dienste erreichbar — die Gewichte blieben bei demjenigen, der sie trainierte.

Die Wende kam im Jahr 2023, als mehrere Organisationen begannen, Gewichte für Modelle zu veröffentlichen, die gut genug waren, um es wert zu sein, sie auszuführen. Das änderte die Frage von "Welchem Dienst melde ich mich an" zu "Was kann meine eigene Hardware tun", und es ist der Grund, warum eine Seite wie diese existiert. Davor hatte die Hardwarefrage für die meisten Menschen keine sinnvolle Antwort.

Die Jahre seitdem sind weniger um Skalierung und mehr um Effizienz gegangen. Bessere Trainingsmethoden, bessere Daten und architektonische Arbeiten wie das Routing von Misch-Experten haben alle die Fähigkeiten pro Parameter nach oben geschoben, während die Quantisierung — das Speichern jedes Gewichts in vier oder fünf Bits statt in sechzehn — den Speicherbedarf eines bestimmten Modells um ungefähr drei Viertel reduziert hat. Zwischen ihnen benötigen Modelle, die einst ein Rechenzentrum gebraucht hätten, nun eine Desktop-Grafikkarte, was die praktische Entwicklung ist, auf der dieser ganze Katalog basiert.

Das größte Modell in unserer Datenbank ist BaGuaLu, erreichen 173.9T Parameter. In diesem Maßstab ist ein Modell eine Rechenzentrumsinfrastruktur und kein Arbeitsstationsinhalt, und die Zahl ist nützlicher als Markierung dafür, wo die Grenze liegt, als als Einkaufsentscheidung.

Der Katalog umfasst Arbeiten von 1,314 Organisationen, verteilt über 50 Länder. Diese Verbreitung ist für sich bemerkenswert: Die Entwicklung von Modellen hat nicht mehr nur in einer Handvoll von Laboren stattgefunden, und mehrere der am weitesten verbreiteten OPEN WEIGHT Modelle stammen von Organisationen, die vor einigen Jahren nicht existierten.

Die Parameteranzahlen werden aufgezeichnet für 2,315 Einträge, aus einem Katalog mit 3,567. Die Lücken sind größtenteils geschlossene Modelle, deren Besitzer nie eine Größe veröffentlicht haben, und gelegentlich offene, die niemand gemessen hat. Ein Modell ohne diese Angabe ist aufgeführt, kann jedoch keine Speicher- oder Geschwindigkeitsabschätzung erhalten, da jede dieser Berechnungen davon ausgeht.

Einträge beginnen in 1950 und führe aus 2026, Der Katalog ist also ein Verzeichnis des Bereichs und keine Momentaufnahme dessen, was aktuell ist. Nach Veröffentlichungsjahr zu filtern, ist der schnellste Weg, es auf Modelle einzugrenzen, die es wert sind, tatsächlich in Betracht gezogen zu werden.