Calculateur TPS GPU

Ceci est une base de données contenant 818 cartes graphiques, filtrées pour ne garder que celles disposant de suffisamment de mémoire pour contenir un modèle de langue. Chaque carte a sa propre page, et sur cette page, chaque modèle que nous suivons a été évalué par rapport à elle — s'il s'adapte, avec quel degré de compression, et combien de tokens par seconde il est susceptible de produire.

Le calcul s'exécute lorsque vous ouvrez une CARTE plutôt que d'être consulté à partir d'une table stockée, ce qui permet à la LONGUEUR DE CONTEXTE et à la QUALITÉ MINIMALE d'être des éléments que vous définissez plutôt que des éléments que nous avons supposés en votre nom. Changer l'un ou l'autre et chaque chiffre est recalculé.

Faire fonctionner un modèle linguistique sur votre propre matériel est devenu une chose ordinaire à faire en peu de temps. Les modèles open weight ont rattrapé leur retard au point d'être réellement utiles, et les outils pour les exécuter n'ont plus besoin d'une formation en recherche. Ce qui n'est pas arrivé en même temps, c'est une réponse claire à la première question que tout le monde pose : fonctionnera-t-il sur la carte que j'ai déjà, et sera-t-il assez rapide pour valoir la peine d'être utilisé.

Les fiches techniques ne le répondent pas. Elles sont écrites pour les charges de travail graphiques et commencent par les chiffres qui décident des taux de trame, qui sont presque entièrement les mauvais. Les deux chiffres qui décident réellement du résultat sont la capacité de mémoire, qui détermine si un modèle s'adapte, et la bande passante de mémoire, qui détermine à quelle vitesse il génère une fois qu'il le fait.

Les tokens par seconde est le nombre qui exprime le résultat en quelque chose que vous pouvez ressentir. La vitesse de lecture est d'environ dix tokens par seconde, donc tout ce qui dépasse ce chiffre arrive plus vite que vous ne pouvez le lire et tout ce qui est bien en dessous donne l'impression d'attendre. C'est la valeur que ce site calcule, pour chaque combinaison de carte et de modèle qu'il contient.

La mémoire dans le catalogue commence à 4 GB et atteint 288 GB. Cette plage est la différence entre une CARTE limitée aux plus petits modèles utilisables et une qui peut contenir des modèles qu'aucune machine de bureau ne peut toucher — la capacité est un seuil strict plutôt qu'un compromis graduel, donc un modèle soit s'ajuste, soit ne fonctionne pas.

La bande passante de la mémoire commence à 10 GB/s et atteint 8,190 GB/s, une figure détenue par Radeon Instinct MI355X. Parce que générer chaque jeton signifie lire l'ensemble du modèle hors de la mémoire une fois, cette dispersion se traduit presque directement par une dispersion dans la vitesse de génération : une CARTE avec dix fois la BANDE PASSANTE produit des jetons environ dix fois plus rapidement sur le même modèle.

Les cartes dans le catalogue sont fabriquées par AMD, ATI, Intel and NVIDIA. Le fabricant compte plus qu'il ne le devrait : le logiciel d'inférence a reçu beaucoup plus d'attention sur le chemin CUDA que sur tout autre, donc une carte AMD ou Intel d'une bande passante équivalente atteint généralement une part plus petite de son plafond théorique. Nos estimations appliquent une pénalité pour cela plutôt que de prétendre que le matériel est la seule variable.

La consommation d'énergie commence à 6 W et atteint 2,400 W. La limite supérieure est le matériel de datacentre qu'une alimentation de bureau ne peut pas alimenter, et c'est la contrainte que les gens ont tendance à découvrir en dernier — après que la carte rentre dans le budget et le boîtier.

Les dates de sortie commencent le 2009 et exécutez pour 2025, Donc, le catalogue couvre le matériel que les gens possèdent encore ainsi que le matériel qu'ils pourraient acheter. Une carte plus ancienne n'est pas exclue pour être vieille — si elle a la MEMORY, elle peut toujours exécuter un modèle, et la page indiquera à quelle vitesse.

Les fournisseurs peuvent listé des cartes à vendre contre n'importe quelle entrée de ce catalogue, donc une page de carte peut montrer à la fois ce que le matériel peut exécuter et où il peut être acheté. Les annonces sont attachées à la variante de carte spécifique plutôt qu'à un nom de modèle, ce qui est ici plus important que d'habitude — le même nom couvre souvent plusieurs capacités de mémoire, et la capacité est ce qui décide quels modèles fonctionnent.