Modelos de IA y las GPUs que los ejecutan

Un registro que cubre 3,567 modelos de aprendizaje automático — quién construyó cada uno, dónde, cuándo, cuán grande es, y si sus pesos fueron publicados. Es más amplio que una lista de cosas que puedes ejecutar: un modelo que nadie puede descargar todavía tiene una especificación que vale la pena leer, y conocer lo que existe es parte de juzgar lo que vale la pena ejecutar.

Lo que hace que este catálogo sea diferente de un índice simple es que está vinculado a una calculadora de hardware. Cada modelo cuyos pesos son open y cuyo tamaño está on file ha sido evaluado en relación con cada tarjeta gráfica para la que tenemos especificaciones. Abre uno y te dice qué tarjetas pueden ejecutarlo, cuánta memoria necesita cada una y aproximadamente cuántos tokens por segundo esperar.

El hecho más trascendental sobre un modelo es si sus PESOS fueron publicados. Los PESOS de un modelo son los valores entrenados que lo hacen lo que es: cientos de miles de millones de números obtenidos a lo largo de meses de computación. Publicarlos significa que cualquiera puede descargar el modelo y ejecutarlo en su propio hardware, de manera permanente, sin cuenta y sin conexión a la red. No publicarlos significa que el modelo existe solo como un servicio, accesible a través de una interfaz que su propietario controla.

Esa distinción decide todo lo demás en este sitio. Un modelo cerrado no puede ser ejecutado localmente a ningún precio, por lo que ningún cambio de tarjeta gráfica altera la respuesta y ninguna cifra de memoria se aplica a ello. Un modelo de peso abierto puede ser ejecutado por cualquiera que tenga hardware lo suficientemente grande para sostenerlo, lo que convierte "qué modelo debo usar" en una pregunta con una respuesta de hardware.

"Pesos abiertos" no es lo mismo que código abierto en el sentido que generalmente lleva el término. Que los pesos sean descargables no dice nada sobre los datos de entrenamiento, el código de entrenamiento, o la licencia adjunta al resultado: algunos modelos publicados permiten el uso comercial libremente, otros lo restringen. Lo que es consistente es que el modelo se ejecuta en tu máquina en lugar de en la de otra persona.

Este catálogo contiene 3,567 modelos. De esos, 1,335 tener pesos abiertos y 2,232 no — aproximadamente 37 En cada cien hay algo que podrías descargar hoy. Donde la licencia nunca fue registrada, la contamos como cerrada, bajo el principio de que una licencia no declarada no es una en la que se puede confiar.

Los parámetros son los valores aprendidos dentro de un modelo — los números ajustados durante el entrenamiento que codifican todo lo que sabe. Un modelo descrito como 8B tiene alrededor de ocho mil millones de ellos, y cada uno ocupa espacio en VRAM. Por eso, el conteo de parámetros es la columna que más importa aquí: es lo más cercano a una declaración directa de cuánto hardware necesita un modelo.

La relación es cercana a lineal, pero la constante depende de cómo se almacena el modelo. A plena precisión, cada parámetro ocupa dos bytes, por lo que un modelo de ocho mil millones de parámetros necesita dieciséis gigabytes antes de que se tenga en cuenta cualquier otra cosa. Comprimido a alrededor de cuatro bits — que es lo que la mayoría de las personas que ejecutan modelos localmente utilizan en realidad — el mismo modelo necesita más cerca de cinco, a un costo modesto y generalmente aceptable en precisión.

Dos cosas lo complican. Los modelos de mezcla de expertos dirigen cada token a solo una fracción de ellos mismos, por lo que generan texto a la velocidad de algo mucho más pequeño mientras todavía necesitan que cada parámetro esté residente en la memoria — rápido, pero no barato de mantener. Y la conversación en sí misma utiliza memoria que crece a medida que la conversación avanza, lo que es la razón por la que un modelo que encaja cómodamente para preguntas cortas puede fallar en un documento largo.

Más grande tampoco es automáticamente mejor, y cada vez lo es menos. La capacidad por parámetro ha mejorado lo suficiente como para que un modelo reciente de ocho mil millones de parámetros supere rutinariamente a uno más antiguo varias veces su tamaño, mientras se ajusta a hardware que el modelo más antiguo nunca podría. Ordenar este catálogo por fecha de lanzamiento suele ser una mejor guía que ordenarlo por tamaño.

Casi cada modelo en este catálogo desciende de una única idea arquitectónica publicada en 2017, en un documento llamado "Attention Is All You Need". Introdujo el transformador, que procesa toda una secuencia a la vez y aprende qué partes de ella son relevantes para cuáles — reemplazando los diseños recurrentes paso a paso que vinieron antes, y escalando mucho mejor que ellos. Cada modelo listado aquí que genera texto es un transformador o un pariente cercano de uno.

Lo que siguió fue principalmente una demostración de que la arquitectura continuaba mejorando con la escala. Los modelos sucesivos crecieron por órdenes de magnitud y se volvieron correspondientemente más capaces, lo que estableció el patrón durante varios años: más parámetros, más datos de entrenamiento, más computación. Para 2020, los modelos más grandes eran lo suficientemente capaces como para ser comercialmente serios, y solo eran accesibles como servicios de pago: los pesos permanecían con quien los entrenaba.

El cambio llegó en 2023, cuando varias organizaciones comenzaron a publicar PESOS para modelos lo suficientemente buenos como para valer la pena ejecutar. Eso cambió la pregunta de "a qué servicio me suscribo" a "qué puede hacer mi propio hardware", y es la razón por la que existe un sitio como este. Antes de eso, la pregunta sobre el hardware no tenía una respuesta significativa para la mayoría de las personas.

Los años desde entonces han sido menos sobre escala y más sobre eficiencia. Mejores métodos de entrenamiento, mejores datos y trabajo arquitectónico como el enrutamiento de mezcla de expertos han elevado la capacidad por parámetro, mientras que la cuantización —almacenando cada peso en cuatro o cinco bits en lugar de dieciséis— ha reducido la memoria que un modelo dado necesita en aproximadamente tres cuartas partes. Entre ellos, los modelos que una vez habrían requerido un centro de datos ahora se ejecutan en una tarjeta gráfica de escritorio, que es el desarrollo práctico en el que descansa todo este catálogo.

El modelo más grande en nuestra base de datos es BaGuaLu, alcanzando 173.9T parámetros. A esa escala, un modelo es infraestructura de datacentro en lugar de algo que una estación de trabajo sostenga, y la cifra es más útil como un indicador de dónde se sitúa la frontera que como una decisión de compra.

El catálogo cubre trabajo de 1,314 organizaciones, repartidas por 50 países. Esa diseminación merece ser notada por sí sola: el desarrollo de modelos dejó de estar concentrado en un puñado de laboratorios hace algún tiempo, y varios de los modelos de peso abierto más utilizados provienen de organizaciones que no existían hace unos años.

Se registran los recuentos de parámetros para 2,315 entradas, fuera de un catálogo que contiene 3,567. Los huecos son en su mayoría modelos cerrados cuyos propietarios nunca publicaron un tamaño, y ocasionalmente modelos abiertos que nadie midió. Un modelo sin esa cifra está listado pero no puede recibir una estimación de memoria o velocidad, ya que cada uno de esos cálculos comienza desde ella.

Las entradas comienzan en 1950 y ejecutar a 2026, así que el catálogo es un registro del campo en lugar de una instantánea de lo que es actual. Filtrar por año de lanzamiento es la forma más rápida de reducirlo a modelos que valga la pena considerar.