Llama Nemotron Ultra 253B calculadora TPS

La tarjeta más pequeña en nuestro catálogo que lo sostiene es H200 NVL, con una capacidad de memoria de 141 GB. Funciona el modelo a una compresión de Q3_K_M usando alrededor 124.3 GB, y produce aproximadamente 22.1 tokens por segundo. El número de tarjetas capaces de ejecutarlo en total: 9.

Depende de la tarjeta. Lo más rápido que calculamos es B200, a aproximadamente 30.9 tokens por segundo; el más lento que aún lo ejecuta consigue considerablemente menos. La velocidad de lectura es de alrededor de diez tokens por segundo, y el número de cards que logran eso: 9.

Necesita aproximadamente 124.3 GB a una compresión de Q3_K_M, cuál es la tarjeta más pequeña que lo ejecuta. Menos compresión necesita más: las cifras en la columna de memoria anterior se recalculan para cada tarjeta, porque cada una sostiene la versión menos comprimida que puede.

Sus pesos están publicados, por lo que se pueden descargar y ejecutar en su propio hardware. Tenga en cuenta que OPEN WEIGHTS no es lo mismo que OPEN SOURCE en el sentido completo: no dice nada sobre los datos de entrenamiento, el código de entrenamiento o los términos comerciales adjuntos.

Tiene un recuento de parámetros de 253B. 253B "Dense decoder-only Transformer model Network Architecture: Llama-3.1-405B-Instruct, customized through Neural Architecture Search (NAS) **This model was developed based on Llama-3.1-405B-Instruct ** This model has 253B model parameters.". Esa cifra es el total, y es lo que decide cuánta MEMORIA necesita el modelo — aproximadamente medio gigabyte por mil millones en la compresión que la mayoría de las personas usa.

Fue publicado por NVIDIA, basado en United States of America, una organización categorizada como industry.

Se publicó en March 2025.

Funciona en el dominio de Language, y se registra como manejando la tarea de language modeling/generation, Question answering, Quantitative reasoning, Code generation, Neural Architecture Search - NAS. Los Modelos suelen llevar más de uno de cada uno, y las etiquetas describen el propósito en lugar de los límites de capacidad.

Sus pesos están publicados en Hugging Face, bajo la organización nvidia. No alojamos archivos de modelo — este sitio calcula qué hardware se necesita para ejecutarlos.

El entrenamiento consumió alrededor 3.9 × 10²⁵ FLOP. Eso mide cuánto costó producir el modelo y no dice nada sobre cuán rápido responde una vez entrenado — la velocidad de inferencia proviene del ancho de banda de memoria, no del presupuesto de entrenamiento.

En parte. Las capas que no se ajustan se encuentran en la memoria del sistema y funcionan a una fracción de la velocidad, por lo que un modelo mayoritariamente descargado rara vez merece la pena utilizar. El fallo más cercano que calculamos se queda corto por 38.6 GB Cada cifra aquí asume que todo el modelo está residente en la tarjeta.

La capacidad se suma entre las tarjetas; el rendimiento no. El número de tarjetas que ya lo tienen por sí solas: 9. Así que una segunda tarjeta rara vez es la respuesta aquí.

Debido a que la capacidad varía, también varía cuán difícil tiene que ser exprimido. El número de niveles distintos en la tabla de arriba: 3. Las tarjetas más grandes obtienen la versión más precisa, y el nivel de calidad por encima establece la comparación a un nivel.

Cada cifra se deriva del ancho de banda de VRAM y del tamaño del modelo, no está basado en benchmarks, por lo que cada una se publica como un rango en lugar de un solo número. Un ejemplo: 19–49 tok/s en B200. El mismo modelo y tarjeta varían entre el treinta y el cincuenta por ciento dependiendo del software de inferencia y su versión.