Modèles d'IA et les GPU qui les exécutent

Un enregistrement couvrant 3,567 modèles d'apprentissage automatique — qui a construit chacun, où, quand, quelle est sa taille, et si ses poids ont été publiés. C'est plus large qu'une liste de choses que vous pouvez exécuter : un modèle que personne ne peut télécharger a toujours une spécification qui mérite d'être lue, et savoir ce qui existe fait partie de l'évaluation de ce qui vaut la peine d'être exécuté.

Ce qui rend ce catalogue différent d'un index classique, c'est qu'il est associé à un calculateur matériel. Chaque modèle dont les poids sont OPEN et dont la taille est EN REGISTRE a été évalué par rapport à chaque carte graphique pour laquelle nous avons des spécifications. Ouvrez-en un et il vous indique quelles cartes peuvent le faire fonctionner, combien de MÉMOIRE chacune nécessite, et combien de TOKENS par seconde vous pouvez attendre.

Le fait le plus conséquent concernant un modèle est de savoir si ses poids ont été publiés. Les poids d'un modèle sont les valeurs entraînées qui en font ce qu'il est — des centaines de milliards de nombres obtenus après des mois de calcul. Les publier signifie que quiconque peut télécharger le modèle et l'exécuter sur son propre matériel, de manière permanente, sans compte et sans connexion réseau. Ne pas les publier signifie que le modèle existe uniquement en tant que service, accessible par une interface contrôlée par son propriétaire.

Cette distinction décide de tout le reste sur ce site. Un modèle fermé ne peut être exécuté localement à aucun prix, donc aucun changement de carte GPU ne change la réponse et aucun chiffre de mémoire ne s'applique à cela. Un modèle open weight peut être exécuté par quiconque a un matériel suffisamment grand pour le contenir, ce qui transforme "quel modèle devrais-je utiliser" en une question avec une réponse matérielle.

« Poids ouverts » n'est pas le même que logiciel libre dans le sens que le terme porte habituellement. Le fait que les poids soient téléchargeables ne dit rien sur les données d'entraînement, le code d'entraînement, ou la licence attachée au résultat — certains modèles publiés permettent l'utilisation commerciale librement, d'autres la restreignent. Ce qui est cohérent, c'est que le modèle s'exécute sur votre machine plutôt que sur celle de quelqu'un d'autre.

Ce catalogue contient 3,567 modèles. Parmi ceux-ci, 1,335 avoir des poids ouverts et 2,232 ne pas — à peu près 37 Dans chaque centaine, il y a quelque chose que vous pourriez télécharger aujourd'hui. Là où la licence n'a jamais été enregistrée, nous la comptons comme fermée, sur le principe qu'une licence non déclarée n'est pas une sur laquelle on peut compter.

Les paramètres sont les valeurs apprises à l'intérieur d'un modèle — les nombres ajustés pendant l'entraînement qui codent tout ce qu'il sait. Un modèle décrit comme 8B en a environ huit milliards, et chacun occupe de l'espace dans la mémoire. C'est pourquoi le nombre de paramètres est la colonne qui compte le plus ici : c'est la chose la plus proche d'une déclaration directe de la quantité de matériel dont un modèle a besoin.

La relation est proche de linéaire, mais la constante dépend de la façon dont le modèle est stocké. À pleine précision, chaque paramètre prend deux octets, donc un modèle de huit milliards de paramètres nécessite seize gigaoctets avant que quoi que ce soit d'autre ne soit pris en compte. Comprimé à environ quatre bits — ce que la plupart des gens exécutant des modèles localement utilisent en réalité — le même modèle nécessite plutôt cinq, à un coût modeste et généralement acceptable en précision.

Deux choses compliquent cela. Les modèles de mélange d'experts acheminent chaque jeton à travers seulement une fraction d'eux-mêmes, de sorte qu'ils génèrent du texte à la vitesse de quelque chose de bien plus petit tout en nécessitant chaque paramètre résidant en mémoire — rapide, mais pas bon marché à maintenir. Et la conversation elle-même prend de la mémoire qui grandit à mesure que la conversation se développe, ce qui explique pourquoi un modèle qui s'adapte confortablement aux questions courtes peut échouer sur un long document.

Plus grand n'est pas automatiquement mieux, et de plus en plus cela ne l'est pas. La capacité par paramètre s'est améliorée assez fortement pour qu'un modèle récent à huit milliards de paramètres surpasse régulièrement un ancien modèle plusieurs fois plus grand, tout en tenant sur un matériel que l'ancien modèle n'aurait jamais pu supporter. Trier ce catalogue par date de sortie est généralement un meilleur guide que de le trier par taille.

Presque tous les modèles de ce catalogue descendent d'une idée architecturale unique publiée en 2017, dans un document intitulé "Attention Is All You Need". Il a introduit le transformeur, qui traite une séquence entière à la fois et apprend quelles parties de celle-ci ont un rapport avec lesquelles — remplaçant les conceptions récurrentes étape par étape qui ont précédé, et se scalant bien mieux qu'elles ne le faisaient. Chaque modèle énuméré ici qui génère du texte est un transformeur ou un proche parent de celui-ci.

Ce qui a suivi était principalement une démonstration que l'architecture continuait à s'améliorer avec l'échelle. Les modèles successifs ont augmenté de plusieurs ordres de grandeur et ont gagné en capacités correspondantes, ce qui a établi le schéma pendant plusieurs années : plus de paramètres, plus de données d'entraînement, plus de calcul. En 2020, les plus grands modèles étaient suffisamment capables pour être commercialement sérieux, et ils n'étaient accessibles que sous forme de services payants — les poids restaient avec ceux qui les avaient entraînés.

Le tournant est venu en 2023, quand plusieurs organisations ont commencé à publier des poids pour des modèles suffisamment bons pour valoir la peine d'être exécutés. Cela a changé la question de "à quel service dois-je m'abonner" à "que peut faire mon propre matériel", et c'est la raison pour laquelle un site comme celui-ci existe. Avant cela, la question matérielle n'avait pas de réponse significative pour la plupart des gens.

Les années qui ont suivi ont été moins axées sur l'échelle et plus sur l'efficacité. De meilleures méthodes d'entraînement, de meilleures données et des travaux architecturaux tels que le routage de mélange d'experts ont tous poussé la capacité par paramètre vers le haut, tandis que la quantification — stocker chaque poids en quatre ou cinq bits au lieu de seize — a réduit la mémoire dont un modèle donné a besoin d'environ trois quarts. Entre eux, des modèles qui nécessitaient autrefois un centre de données fonctionnent désormais sur une carte graphique de bureau, ce qui constitue le développement pratique sur lequel repose tout ce catalogue.

Le plus grand modèle dans notre base de données est BaGuaLu, atteindre 173.9T paramètres. À cette échelle, un modèle est une infrastructure de centre de données plutôt que quelque chose qu'un poste de travail détient, et la figure est plus utile comme un marqueur de l'emplacement de la frontière que comme une décision d'achat.

Le catalogue couvre le travail de 1,314 organisations, réparties sur 50 pays. Cette répartition mérite d'être remarquée à elle seule : le développement de modèles a cessé d'être concentré dans une poignée de laboratoires il y a quelque temps, et plusieurs des modèles open weight les plus largement utilisés proviennent d'organisations qui n'existaient pas quelques années auparavant.

Les comptes de paramètres sont enregistrés pour 2,315 entrées, hors d'un catalogue contenant 3,567. Les lacunes sont principalement des modèles dont les propriétaires n'ont jamais publié de taille, et occasionnellement des modèles ouverts que personne n'a mesurés. Un modèle sans ce chiffre est répertorié mais ne peut pas se voir attribuer une estimation de mémoire ou de vitesse, puisque chacun de ces calculs commence à partir de cela.

Les entrées commencent dans 1950 et exécutez pour 2026, donc le catalogue est un enregistrement du domaine plutôt qu'un instantané de ce qui est actuel. Filtrer par année de sortie est le moyen le plus rapide de le réduire à des modèles qui valent réellement la peine d'être considérés.