Fusion in Encoder
Sin estimación
No hay requisitos de hardware para este modelo
Los pesos de este modelo no han sido publicados, por lo que no se puede descargar ni ejecutar en su propio hardware en ningún tamaño. Solo es accesible a través de su proveedor, y ninguna tarjeta gráfica lo cambia.
En registro
Especificación completa
Todo lo registrado para este modelo. La mayoría de ello describe cómo fue entrenado en lugar de cómo se ejecuta — contexto útil para juzgar cuánto trabajo se dedicó a ello y cómo se compara con modelos construidos a una escala diferente.
Origen
¿Quién construyó este modelo, dónde y cuándo fue publicado?
- Organización
- Samsung
- Tipo de organización
- Industry
- País
- Korea (Republic of)
- Publicado
- 18 November 2022
- Autores
- Akhil Kedia, Mohd Abbas Zaidi, Haejun Lee
Lo que hace
Las áreas problemáticas para las que se construyó el modelo. Un modelo puede llevar varios de cada uno.
- Dominio
- Language
- Tarea
- Question answering, Language modeling/generation
Tamaño
Qué tan grande es el modelo y cuántos datos se utilizaron para entrenarlo. Los parámetros son la cifra que decide si se ajusta en una tarjeta gráfica dada.
- Parámetros
- 330M
- Datos de entrenamiento
- 960,000 tokens
330M
79k per table 11 (probably number of question-answer pairs)
Entrenamiento de computación
La aritmética realizada para entrenar el modelo, medida en operaciones de punto flotante. Es una medida de lo que costó la ejecución del entrenamiento, no de cuán rápido responde el modelo terminado.
- Entrenamiento de computación
- 1.3 × 10²⁰ FLOP
- Cómo se estableció
- Hardware
"The experiments were run on 8x80GB Nvidia A100s with 800GB RAM and 4x32-core CPUs, and each experiment took around 1 day for NQ and 2 days for TriviaQA with large models. Inference was run on the same system, and took 2 minutes." 2 days * 24 * 3600 * 8 * 312 teraflop/s * 0.3 utilization = 1.3e20
El entrenamiento
Lo que se necesitó físicamente para entrenar: qué chips, cuántos, durante cuánto tiempo y qué consumió de la pared.
- Hardware de entrenamiento
- NVIDIA A100 SXM4 80 GB
- Tiempo en tiempo real
- 48 hours
- Costo de computación
- $233
2 days
Disponibilidad
Si puedes obtener el modelo y ejecutarlo en tu propio hardware, lo cual es lo que decide si alguna de las cifras de la tarjeta gráfica en esta página aplica.
- Pesos
- Closed — provider access only
- Acceso al modelo
- Unreleased
- Código de entrenamiento
- Unreleased
"The source code is based on the original implementation of FiD (Izacard and Grave, 2021b), which can be found at their Github. The modeling for the fused Electra model was implemented using HuggingFace (Wolf et al., 2020) by modifying the ElectraModel.
Cómo se clasifica
Etiquetas que aplica el conjunto de datos de origen al rastrear modelos notables y cuán seguro está de la entrada.
- Por qué se rastrea
- SOTA improvement
- Registrar confianza
- Likely
- Citas
- 12
"Using our proposed method, we outperform the current state-of-the-art method by 2.5 Exact Match score on the Natural Question dataset while using only 25% of parameters and 35% of the latency during inference, and 4.4 Exact Match on WebQuestions dataset"
Fuentes
De dónde proviene este registro y cuándo fue revisado por última vez.
- Referencia
- FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering
- Última actualización
- 25 May 2026
Qué significan los números
Acerca de este modelo
Fusion in Encoder was published by Samsung, in Korea (Republic of), in November 2022. industry is the category the publisher falls under.
It works in Language, and is recorded as doing question answering, Language modeling/generation.
Sus pesos nunca fueron publicados, por lo que solo se puede acceder a ellos a través de su proveedor. Ninguna tarjeta gráfica cambia eso.
Qué se utilizó para construirlo
Producing it required around 1.3 × 10²⁰ FLOP of arithmetic, on NVIDIA A100 SXM4 80 GB, which is a statement about the training budget rather than about inference.
Around 960,000 tokens went into training it.
Se rastrea en el conjunto de datos subyacente por una razón en particular: mejora sOTA.
Respuestas
Fusion in Encoder — Preguntas frecuentes
How much compute was used to train Fusion in Encoder?
Around 1.3 × 10²⁰ FLOP, on NVIDIA A100 SXM4 80 GB. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run Fusion in Encoder?
None. Fusion in Encoder is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is Fusion in Encoder open source?
No. Fusion in Encoder has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does Fusion in Encoder have?
Fusion in Encoder has 330M parameters. 330M. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created Fusion in Encoder?
Fusion in Encoder was published by Samsung, based in Korea (Republic of), categorised as industry.
When was Fusion in Encoder released?
Fusion in Encoder was published in November 2022. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is Fusion in Encoder used for?
Fusion in Encoder works in Language, and is recorded as handling question answering, Language modeling/generation. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
La otra dirección
¿Mirándolo desde el otro lado?
Esta página comienza desde el modelo. Si ya posee una tarjeta y desea saber todo lo que podrá ejecutar, empiece por el hardware en su lugar.