Arctic calculadora TPS

Funciona en el dominio de Language, y se registra como manejando la tarea de language modeling/generation, Question answering, Code generation, Quantitative reasoning. Los Modelos suelen llevar más de uno de cada uno, y las etiquetas describen el propósito en lugar de los límites de capacidad.

Los pesos están publicados, aunque no tenemos un enlace de repositorio para ello. Este sitio calcula los requisitos de hardware en lugar de alojar archivos de modelo.

El entrenamiento consumió alrededor 3.8 × 10²³ FLOP. Eso mide cuánto costó producir el modelo y no dice nada sobre cuán rápido responde una vez entrenado — la velocidad de inferencia proviene del ancho de banda de memoria, no del presupuesto de entrenamiento.

Se puede dividir entre la tarjeta y la memoria del sistema, pero se genera muy lentamente de esa manera. El fallo más cercano que calculamos se queda corto por 60.7 GB Cada cifra aquí asume que todo el modelo está residente en la tarjeta.

Dos tarjetas compran memoria en lugar de velocidad, lo cual solo importa si una tarjeta no puede contenerlo. El número que puede: 3. Así que una segunda tarjeta rara vez es la respuesta aquí.

Cada tarjeta se muestra ejecutando la copia menos comprimida que puede contener. El número de niveles de compresión distintos entre las tarjetas que lo soportan: 1. Las tarjetas más grandes obtienen la versión más precisa, y el nivel de calidad por encima establece la comparación a un nivel.

Se calculan a partir de especificaciones en lugar de ser medidas, y cada una tiene un rango. Un ejemplo: 11–30 tok/s en B300. El mismo modelo y tarjeta varían entre el treinta y el cincuenta por ciento dependiendo del software de inferencia y su versión.

La tarjeta más pequeña en nuestro catálogo que lo sostiene es B300, con una capacidad de memoria de 288 GB. Funciona el modelo a una compresión de Q3_K_M usando alrededor 235.2 GB, y produce aproximadamente 19.1 tokens por segundo. El número de tarjetas capaces de ejecutarlo en total: 3.

Depende de la tarjeta. Lo más rápido que calculamos es B300, a aproximadamente 19.1 tokens por segundo; el más lento que aún lo ejecuta consigue considerablemente menos. La velocidad de lectura es de alrededor de diez tokens por segundo, y el número de cards que logran eso: 3.

Necesita aproximadamente 235.2 GB a una compresión de Q3_K_M, cuál es la tarjeta más pequeña que lo ejecuta. Menos compresión necesita más: las cifras en la columna de memoria anterior se recalculan para cada tarjeta, porque cada una sostiene la versión menos comprimida que puede.

Sus pesos están publicados, por lo que se pueden descargar y ejecutar en su propio hardware. Tenga en cuenta que OPEN WEIGHTS no es lo mismo que OPEN SOURCE en el sentido completo: no dice nada sobre los datos de entrenamiento, el código de entrenamiento o los términos comerciales adjuntos.

Tiene un recuento de parámetros de 480B. " It combines a 10B dense transformer model with a residual 128x3.66B MoE MLP resulting in 480B total and 17B active parameters chosen using a top-2 gating.". Esa cifra es el total, y es lo que decide cuánta MEMORIA necesita el modelo — aproximadamente medio gigabyte por mil millones en la compresión que la mayoría de las personas usa.

Fue publicado por Snowflake, basado en United States of America, una organización categorizada como industry.

Se publicó en April 2024. La capacidad por parámetro ha mejorado considerablemente desde entonces, por lo que un modelo más reciente del mismo tamaño suele ser el mejor uso del mismo hardware.