MV-RNN

Geschlossene Gewichtungen Stanford University 3.5M Parameter July 2012

Keine Schätzung

Keine Hardwareanforderungen für dieses Modell

Die Gewichte für dieses Modell wurden nicht veröffentlicht, daher kann es nicht heruntergeladen oder auf Ihrer eigenen Hardware in beliebiger Größe betrieben werden. Es ist nur über seinen Anbieter erreichbar, und keine Grafikkarte ändert das..

Aufgezeichnet

Volle Spezifikation

Alles, was in unserer Datenbank für dieses Modell aufgezeichnet ist. Der Großteil beschreibt, wie es trainiert wurde, anstatt wie es läuft — nützlicher Kontext zur Beurteilung, wie viel Arbeit darin steckt und wie es sich mit Modellen vergleicht, die in einem anderen Maßstab erstellt wurden..

Ursprung

Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.

Organisation
Stanford University
Organisationsart
Academia
Land
United States of America
Veröffentlicht
12 July 2012
Autoren
R. Socher, B. Huval, C. D. Manning, and A. Y. Ng

Was es tut

Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere davon tragen.

Domain
Language
Aufgabe
Text classification

Größe

Wie groß das Modell ist und wie viele Daten damit trainiert wurden. Parameter sind die Zahl, die entscheidet, ob es auf einer bestimmten GPU-Karte passt.

Parameter
3.5M

"We represent a word as both a continuous vector and a matrix of parameters. We initialize all word vectors x ∈ Rn with pre-trained 50-dimensional word vectors from the unsupervised model of Collobert and Weston (2008). [...] Every word is also associated with a matrix X. [...] If the vectors have dimensionality n, then each word’s matrix has dimensionality X ∈ Rn×n." "We propose the following combination function which is input dependent: p = fA,B(a, b) = f(Ba, Ab) = g(W x (Ba Ab)) ,(2) where…

Trainingsdaten
10,000 tokens

Wie es klassifiziert ist

Labels, die das Quell-Datenset anwendet, wenn bemerkenswerte Modelle verfolgt werden, und wie zuversichtlich es in den Eintrag ist.

Zitationen
1,459

Quellen

Woher dieser Datensatz stammt und wann er zuletzt überprüft wurde.

Referenz
Semantic Compositionality through Recursive Matrix-Vector Spaces
Zuletzt aktualisiert
28 November 2025

Was die Zahlen bedeuten

Hintergrund

MV-RNN wurde veröffentlicht von Stanford University, im Land aufgezeichnet als United States of America, während July 2012. Die Kategorie, in die der Herausgeber fällt, ist academia.

Es funktioniert im Bereich von Language, und wird als die Aufgabe von aufgezeichnet text classification.

Da die Gewichte nicht verfügbar sind, gelten keine der Hardwareangaben an anderer Stelle auf dieser Seite für sie.

Training und Herkunft

Es wurde auf einem Korpus von etwa 10,000 Text-Tokens

Antworten

MV-RNN — Häufige Fragen

01

MV-RNN— Wer hat es erstellt?

Es wurde veröffentlicht von Stanford University, basiert auf United States of America, eine als kategorisierte Organisation academia.

02

MV-RNN— Wann wurde es veröffentlicht?

Es wurde veröffentlicht in July 2012. Die Fähigkeit pro Parameter hat sich erheblich verbessert, sodass ein neueres Modell derselben Größe oft die bessere Nutzung derselben Hardware darstellt.

03

MV-RNN— Wofür wird es verwendet?

Es funktioniert im Bereich von Language, und wird als Bewältigung der Aufgabe von text classification. Dies sind die Bereiche, um die es entworfen wurde; sie beschreiben die Absicht und nicht eine harte Grenze.

04

MV-RNN— Welche GPU benötige ich, um es auszuführen?

Dieses ist ein geschlossenes Modell — seine Gewichte wurden nie veröffentlicht, sodass es zu keinem Preis heruntergeladen oder auf Ihrer eigenen Hardware ausgeführt werden kann. Es ist nur über seinen Anbieter erreichbar.

05

MV-RNN— Ist es Open-Source?

Die Lizenzierung wurde nie in unseren Quelldaten aufgezeichnet. Wir behandeln nicht angegebene Lizenzen als geschlossen, da eine nicht aufgezeichnete Lizenz keine ist, auf die man sich verlassen kann.

06

MV-RNN— Wie viele Parameter hat es?

Es hat eine Parameteranzahl von 3.5M. "We represent a word as both a continuous vector and a matrix of parameters. We initialize all word vectors x ∈ Rn with pre-trained 50-dimensional word vectors from the unsupervised model of Collobert and Weston (2008). [...] Every word is also associated with a matrix X. [...] If the vectors have dimensionality n, then each word’s matrix has dimensionality X ∈ Rn×n." "We propose the following combination function which is input dependent: p = fA,B(a, b) = f(Ba, Ab) = g(W x (Ba Ab)) ,(2) where A, B are matrices for single words, the global W ∈ Rn×2n is a matrix that maps both transformed words back into the same n-dimensional space." "For computing nonterminal phrase matrices, we define the function P = fM(A, B) = WMA, B, (3) where WM ∈ Rn×2n, so P ∈ Rn×n just like each input matrix." "If every word is represented by an n-dimensional vector and additionally by an n × n matrix, the dimensionality of the whole model may become too large with commonly used vector sizes of n = 100. In order to reduce the number of parameters, we represent word matrices by the following low-rank plus diagonal approximation: A = UV + diag(a), (5) where U ∈ Rn×r, V ∈ Rr×n, a ∈ Rnand we set the rank for all experiments to r = 3." "We train these representations by adding on top of each parent node a simple softmax classifier to predict a class distribution over, e.g., sentiment or relationship classes: d(p) = softmax(Wlabelp). If there are K labels, then d ∈ RK is a K-dimensional multinomial distribution" In total there are V*(n+n*r + r*n) + n*2n + n*2n + (n+1)*k parameters, where n is the vector dimension, r is the low-rank decomposition dimension, V is the vocabulary size and k is the number of classes. In the experiments we have that n=50, r=3, k=? and V=?. I'm guesstimating k=5 and V=10k. Diese Zahl ist die Gesamtsumme, und sie bestimmt, wie viel MEMORY das MODEL benötigt – ungefähr ein halbes Gigabyte pro Milliarde bei der Kompression, die die meisten Menschen verwenden.

Quelle

Originalveröffentlichung

Letzte Aktualisierung des Protokolls 28 November 2025

Die andere Richtung

Von der anderen Seite aus betrachten?

Diese Seite beginnt mit dem Modell. Wenn Sie bereits eine Karte besitzen und alles wissen möchten, was sie ausführen wird, Starte stattdessen von der Hardware.