MV-RNN

È stato pubblicato da Stanford University, basato su United States of America, un'organizzazione categorizzata come academia.

È stato pubblicato in July 2012. La capacità per parametro è migliorata considerevolmente da allora, quindi un modello più recente della stessa dimensione è spesso un uso migliore dello stesso hardware.

Funziona nel dominio di Language, e viene registrato come gestire il compito di text classification. Queste sono le aree su cui è stato progettato; descrivono l'intento piuttosto che un confine rigido.

Nessuno. Questo è un modello chiuso - i suoi pesi non sono mai stati pubblicati, quindi non può essere scaricato o eseguito sul tuo hardware a qualsiasi prezzo. È accessibile solo attraverso il suo fornitore.

La licenza non è mai stata registrata nei nostri dati sorgente. Trattiamo le licenze non dichiarate come chiuse, perché una licenza non registrata non è una su cui fare affidamento.

Ha un numero di parametri di 3.5M. "We represent a word as both a continuous vector and a matrix of parameters. We initialize all word vectors x ∈ Rn with pre-trained 50-dimensional word vectors from the unsupervised model of Collobert and Weston (2008). [...] Every word is also associated with a matrix X. [...] If the vectors have dimensionality n, then each word’s matrix has dimensionality X ∈ Rn×n." "We propose the following combination function which is input dependent: p = fA,B(a, b) = f(Ba, Ab) = g(W x (Ba Ab)) ,(2) where A, B are matrices for single words, the global W ∈ Rn×2n is a matrix that maps both transformed words back into the same n-dimensional space." "For computing nonterminal phrase matrices, we define the function P = fM(A, B) = WMA, B, (3) where WM ∈ Rn×2n, so P ∈ Rn×n just like each input matrix." "If every word is represented by an n-dimensional vector and additionally by an n × n matrix, the dimensionality of the whole model may become too large with commonly used vector sizes of n = 100. In order to reduce the number of parameters, we represent word matrices by the following low-rank plus diagonal approximation: A = UV + diag(a), (5) where U ∈ Rn×r, V ∈ Rr×n, a ∈ Rnand we set the rank for all experiments to r = 3." "We train these representations by adding on top of each parent node a simple softmax classifier to predict a class distribution over, e.g., sentiment or relationship classes: d(p) = softmax(Wlabelp). If there are K labels, then d ∈ RK is a K-dimensional multinomial distribution" In total there are V*(n+n*r + r*n) + n*2n + n*2n + (n+1)*k parameters, where n is the vector dimension, r is the low-rank decomposition dimension, V is the vocabulary size and k is the number of classes. In the experiments we have that n=50, r=3, k=? and V=?. I'm guesstimating k=5 and V=10k. Quella cifra è il totale, ed è ciò che decide quanto memoria il modello ha bisogno — circa mezzo gigabyte per miliardo alla compressione che la maggior parte delle persone usa.