Calculadora TPS de GPU

Esta es una base de datos que contiene 818 tarjetas gráficas, filtradas hasta las que tienen suficiente memoria para contener un modelo de lenguaje. Cada tarjeta tiene su propia página, y en esa página cada modelo que rastreamos ha sido evaluado en relación con ella — si se ajusta, con qué compresión, y cuántos tokens por segundo es probable que produzca.

El cálculo se ejecuta cuando abres una tarjeta en lugar de ser consultado desde una tabla almacenada, lo que permite que la longitud del contexto y la calidad mínima sean cosas que estableces en lugar de cosas que asumimos en tu nombre. Cambia cualquiera y cada cifra se vuelve a calcular.

Ejecutar un modelo de lenguaje en tu propio hardware se convirtió en algo ordinario en poco tiempo. Los modelos de peso abierto alcanzaron un nivel suficiente para ser realmente útiles, y las herramientas para ejecutarlos dejaron de requerir un fondo de investigación. Lo que no llegó junto con eso fue una respuesta directa a la primera pregunta que cualquiera se hace: ¿se ejecutará en la tarjeta que ya tengo y será lo suficientemente rápido como para valer la pena usarlo?

Las hojas de especificaciones no responden a esto. Están escritas para cargas de trabajo gráficas y se centran en las cifras que deciden las tasas de cuadros, que son casi en su totalidad las incorrectas. Los dos números que realmente deciden el resultado son la capacidad de memoria, que determina si un modelo cabe, y el ancho de banda de memoria, que establece qué tan rápido genera una vez que lo hace.

Los Tokens por segundo es el número que expresa el resultado en algo que puedes sentir. La velocidad de lectura está en algún lugar alrededor de diez tokens por segundo, así que cualquier cosa por encima de eso llega más rápido de lo que puedes leer y cualquier cosa muy por debajo se siente como esperar. Esa es la cifra que este sitio calcula, para cada combinación de tarjeta y modelo que tiene.

La memoria a través del catálogo comienza en 4 GB y alcanza 288 GB. Ese rango es la diferencia entre una tarjeta limitada a los modelos más pequeños utilizables y una que sostiene modelos que ninguna máquina de escritorio puede tocar — la capacidad es una puerta dura en lugar de un compromiso gradual, así que un modelo o se ajusta o no se ejecuta.

El ancho de banda de VRAM comienza en 10 GB/s y alcanza 8,190 GB/s, una figura sostenida por Radeon Instinct MI355X. Porque generar cada token significa leer todo el modelo de la memoria una vez, esa dispersión se traduce casi directamente en una dispersión en la velocidad de generación: una tarjeta con diez veces el ancho de banda produce tokens aproximadamente diez veces más rápido en el mismo modelo.

Las tarjetas en el catálogo son fabricadas por AMD, ATI, Intel and NVIDIA. El fabricante importa más de lo que debería: el software de inferencia ha recibido mucha más atención en el camino de CUDA que en cualquier otro, por lo que una tarjeta de AMD o Intel de ancho de banda equivalente generalmente alcanza una menor parte de su techo teórico. Nuestras estimaciones aplican una penalización por eso en lugar de pretender que el hardware es la única variable.

El consumo de energía comienza en 6 W y alcanza 2,400 W. El extremo superior es hardware de centro de datos que una fuente de escritorio no puede alimentar, y es la restricción que las personas tienden a descubrir por último — después de que la card encaja en el presupuesto y el case.

Las fechas de lanzamiento comienzan en 2009 y ejecutar a 2025, así que el catálogo cubre hardware que la gente aún posee así como hardware que podría comprar. Una tarjeta más antigua no está excluida por ser vieja: si tiene la MEMORY, aún puede ejecutar un modelo, y la página dirá qué tan rápido.

Los vendedores pueden listar tarjetas a la venta contra cualquier entrada en este catálogo, por lo que una página de tarjeta puede mostrar tanto lo que el hardware ejecutará como dónde se puede comprar. Las listas están adjuntas a la variante de placa específica en lugar de a un nombre de modelo, lo que aquí importa más de lo habitual: el mismo nombre a menudo cubre varias capacidades de memoria, y la capacidad es lo que decide qué modelos se ejecutan.