RNN for 1B words
Nessuna stima
Nessun requisito hardware per questo modello
I pesi per questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul proprio hardware di qualsiasi dimensione. È accessibile solo attraverso il suo fornitore e nessun cambiamento della scheda grafica che.
In registrazione
specifiche complete
Tutto in archivio per questo modello. La maggior parte descrive come è stato addestrato piuttosto che come gira — contesto utile per giudicare quanto lavoro c'è stato dietro, e come si confronta con i modelli costruiti su una scala diversa..
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Tipo di organizzazione
- Industry
- Paese
- United States of America
- Pubblicato
- 11 December 2013
- Autori
- Ciprian Chelba, Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, Tony Robinson
Cosa fa
Le aree problematiche per cui è stato progettato il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Language
- Compito
- Language modeling
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono la cifra che decide se si adatta a una determinata scheda grafica.
- parametri
- 20B
- Dati di addestramento
- 1,000,000,000 tokens
20B from Table 1
from abstract: 'With almost one billion words of training data, '
La corsa di addestramento
Cosa ha richiesto fisicamente per addestrare: quali chip, quanti, per quanto tempo e cosa ha prelevato dalla presa.
- Chip utilizzati
- 24
- Chip-ore
- 5,760
- Tempo di parete
- 240 hours (10 days)
from Table 1,240 hours on 24 CPUs
Come è classificato
Etichette del dataset sorgente si applicano quando si tracciano modelli notevoli, e quanto è sicuro nell'entry.
- Perché è monitorato
- Highly cited,SOTA improvement
- Record fiducia
- Speculative
- Citazioni
- 1,205
from abstract: 'We show performance of several well-known types of language models, with the best results achieved with a recurrent neural network based language model. The baseline unpruned Kneser-Ney 5-gram model achieves perplexity 67.6; a combination of techniques leads to 35% reduction in perplexity, or 10% reduction in cross-entropy (bits), over that baseline. '
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling
- Ultimo aggiornamento
- 28 November 2025
Cosa significano i numeri
Cosa è questo modello
RNN for 1B words è stato pubblicato da Google, nel paese registrato come United States of America, durante December 2013. L'organizzazione di pubblicazione è classificata come industry.
Funziona nel dominio di Language, ed è registrato come eseguire il compito di language modeling.
Questo è un modello chiuso: i valori addestrati sono rimasti con chi li ha prodotti, e non c'è una versione locale da eseguire.
Cosa è stato necessario per costruirlo
L'addestramento ha consumato un corpus di circa 1,000,000,000 token di testo
Il suo criterio di inclusione: highly cited,SOTA improvement.
Risposte
RNN for 1B words — domande comuni
RNN for 1B words— A cosa serve?
Funziona nel dominio di Language, e viene registrato come gestire il compito di language modeling. Un modello può gestire diversi di ciascuno, quindi queste sono le aree per cui è stato costruito piuttosto che un limite su ciò che tenterà.
RNN for 1B words— che GPU ho bisogno per eseguirlo?
Nessuno. Questo è un modello chiuso - i suoi pesi non sono mai stati pubblicati, quindi non può essere scaricato o eseguito sul tuo hardware a qualsiasi prezzo. È accessibile solo attraverso il suo fornitore.
RNN for 1B words— è open-source?
La licenza non è mai stata registrata nei nostri dati sorgente. Trattiamo le licenze non dichiarate come chiuse, perché una licenza non registrata non è una su cui fare affidamento.
RNN for 1B words— quanti parametri ha?
Ha un numero di parametri di 20B. 20B from Table 1. Quella cifra è il totale, ed è ciò che decide quanto memoria il modello ha bisogno — circa mezzo gigabyte per miliardo alla compressione che la maggior parte delle persone usa.
RNN for 1B words— chi l'ha creato?
È stato pubblicato da Google, basato su United States of America, un'organizzazione categorizzata come industry.
RNN for 1B words— quando è stato rilasciato?
È stato pubblicato in December 2013. La capacità per parametro è migliorata considerevolmente da allora, quindi un modello più recente della stessa dimensione è spesso un uso migliore dello stesso hardware.
L'altra direzione
Guardandolo dall'altro lato?
Questa pagina parte dal modello. Se possiedi già una scheda e vuoi sapere tutto ciò che farà funzionare, inizia dall'hardware invece.