¿Puede tu GPU ejecutar ese modelo de IA? La calculadora TPS de GPU

Encuentra tu tarjeta en el catálogo de GPU y abre su página — lista cada modelo que podemos evaluar en comparación con ella, si cada uno se ajusta en la memoria, y una cifra estimada de tokens-por-segundo. También puedes comenzar desde un modelo y ver qué tarjetas pueden ejecutarlo, que es el mismo cálculo desde la dirección opuesta.

Si tiene al menos unos pocos gigabytes de memoria propia, casi con certeza algo. Las gráficas integradas que comparten memoria del sistema son la principal excepción, ya que no tienen un grupo dedicado para contener un modelo. Más allá de eso, es una cuestión de qué modelo, a qué compresión — no sí o no.

Generar un token significa leer los pesos del modelo de la VRAM una vez, por lo que la velocidad está limitada por el ancho de banda de la memoria dividido por cuánto tiene que ser leído por token — lo que depende del tamaño del modelo, su arquitectura y el formato de compresión en el que está almacenado. La velocidad del reloj y el número de núcleos, los números con los que comienza una hoja de especificaciones, apenas influyen.

Se espera que la cifra real se encuentre dentro de aproximadamente un 20–40% de la estimación. La misma GPU y modelo varían tanto entre motores de inferencia, versiones de motor y configuraciones de servicio — ningún cálculo de las hojas de especificaciones por sí solo puede predecir eso, por lo que cada cifra aquí se publica como un rango.

Para un modelo que ya se adapta cómodamente en ambas tarjetas, el ancho de banda de memoria decide el ganador, y una tarjeta más nueva suele tener más de esto. Pero el cuello de botella más común es la capacidad, no la velocidad — la pregunta más útil para una tarjeta específica suele ser "¿cuál es el modelo más grande que se adapta?", que es lo que cada página de tarjeta responde directamente.

No — cada página de tarjeta y modelo elige la compresión de mejor calidad que realmente se ajusta, automáticamente. La cuantización es la técnica que reduce la huella de memoria de un modelo a un bajo costo para la calidad de salida, y puedes establecer un límite de calidad tú mismo si lo deseas, pero nada lo requiere.

Especificaciones de tarjetas gráficas y registros de modelos de lenguaje que cubren miles de modelos de peso abierto y sus recuentos de parámetros, licencias y fechas de lanzamiento. Ambos se actualizan a medida que se lanzan nuevo hardware y modelos; consulte los catálogos de GPU y modelos de IA para obtener una cobertura completa.