À propos de gputps.com

Pour chaque GPU, nous estimons combien de tokens par seconde il peut générer en exécutant un modèle de langage à poids ouvert donné, que ce modèle s'adapte réellement à sa mémoire, et à quelle quantification. Nous publions cela côte à côte avec les tableaux de spécifications, afin qu'une décision d'achat soit basée sur une réponse réelle plutôt que sur des chiffres de VRAM et de FLOPS qui ne disent rien sur la vitesse d'inférence..

Générer un jeton signifie lire les poids d'un modèle hors de la MÉMOIRE une fois, donc la vitesse de décodage est limitée par la BANDE PASSANTE de la MÉMOIRE divisé par la TAILLE du modèle — c'est le calcul derrière chaque chiffre sur ce site. Mais la même CARTE et le même modèle varient de 20 à 40 % entre les moteurs d'inférence, les versions des moteurs et les formats de quantification, et aucune fiche technique ne prédit cela. Publier un chiffre qui semble confiant serait malhonnête quant à la précision de ce type d'estimation. Donc, chaque chiffre sur ce site est présenté comme une plage, avec la méthode et les entrées derrière lui, plutôt qu'une valeur ponctuelle..