GLM-4.6 calculadora TPS

Se puede dividir entre la tarjeta y la memoria del sistema, pero se genera muy lentamente de esa manera. El fallo más cercano que calculamos se queda corto por 43.9 GB Cada cifra aquí asume que todo el modelo está residente en la tarjeta.

Una segunda tarjeta duplica aproximadamente la memoria disponible, pero no la tasa de generación. El número ya capaz de ejecutarlo solo: 4. Así que una segunda tarjeta rara vez es la respuesta aquí.

Cada tarjeta se muestra ejecutando la copia menos comprimida que puede contener. El número de niveles de compresión distintos entre las tarjetas que lo soportan: 2. Las tarjetas más grandes obtienen la versión más precisa, y el nivel de calidad por encima establece la comparación a un nivel.

Cada cifra se deriva del ancho de banda de VRAM y del tamaño del modelo, no está basado en benchmarks, por lo que cada una se publica como un rango en lugar de un solo número. Un ejemplo: 10–27 tok/s en B300. El mismo modelo y tarjeta varían entre el treinta y el cincuenta por ciento dependiendo del software de inferencia y su versión.

La tarjeta más pequeña en nuestro catálogo que lo sostiene es Radeon Instinct MI325X, con una capacidad de memoria de 256 GB. Funciona el modelo a una compresión de Q4_K_M usando alrededor 216.7 GB, y produce aproximadamente 12.8 tokens por segundo. El número de tarjetas capaces de ejecutarlo en total: 4.

Depende de la tarjeta. Lo más rápido que calculamos es B300, a aproximadamente 17.0 tokens por segundo; el más lento que aún lo ejecuta consigue considerablemente menos. La velocidad de lectura es de alrededor de diez tokens por segundo, y el número de cards que logran eso: 4.

Necesita aproximadamente 216.7 GB a una compresión de Q4_K_M, cuál es la tarjeta más pequeña que lo ejecuta. Menos compresión necesita más: las cifras en la columna de memoria anterior se recalculan para cada tarjeta, porque cada una sostiene la versión menos comprimida que puede.

Sus pesos están publicados, por lo que se pueden descargar y ejecutar en su propio hardware. Tenga en cuenta que OPEN WEIGHTS no es lo mismo que OPEN SOURCE en el sentido completo: no dice nada sobre los datos de entrenamiento, el código de entrenamiento o los términos comerciales adjuntos.

Tiene un recuento de parámetros de 357B. Similarly to GLM 4.5: 355 billion total parameters (reported) with 32 billion active parameters (assumed). Esa cifra es el total, y es lo que decide cuánta MEMORIA necesita el modelo — aproximadamente medio gigabyte por mil millones en la compresión que la mayoría de las personas usa.

Fue publicado por Z.ai (Zhipu AI),Tsinghua University, basado en China, una organización categorizada como industry,Academia.

Se publicó en September 2025.

Funciona en el dominio de Language, y se registra como manejando la tarea de language modeling/generation, Question answering, Code generation, Quantitative reasoning, System control. Un modelo puede manejar varios de cada uno, así que estas son las áreas para las que fue construido en lugar de un límite en lo que intentará.

Sus pesos están publicados en Hugging Face, bajo la organización zai-org. No alojamos archivos de modelo — este sitio calcula qué hardware se necesita para ejecutarlos.

El entrenamiento consumió alrededor 4.4 × 10²⁴ FLOP. Eso mide cuánto costó producir el modelo y no dice nada sobre cuán rápido responde una vez entrenado — la velocidad de inferencia proviene del ancho de banda de memoria, no del presupuesto de entrenamiento.