Deep Multitask NLP Network

Gesloten gewichten NEC Laboratories 1.5M parameters July 2008

Geen schatting

Geen hardware-eisen voor dit model

De gewichten voor dit model zijn niet gepubliceerd, dus het kan niet worden gedownload of uitgevoerd op je eigen hardware in welke grootte dan ook. Het is alleen bereikbaar via de aanbieder, en geen enkele grafische kaart verandert dat..

Op record

Volledige specificatie

Alles wat geregistreerd is voor dit model. Het merendeel beschrijft hoe het getraind werd in plaats van hoe het draait - nuttige context om te beoordelen hoeveel werk erin is gestoken, en hoe het zich verhoudt tot modellen die op een andere schaal zijn gebouwd..

Oorsprong

Wie heeft dit model gebouwd, waar, en wanneer het gepubliceerd werd.

Organisatie
NEC Laboratories
Organisatietype
Industry
Land
United States of America
Gepubliceerd
5 July 2008
Auteurs
Ronan Collobert, Jason Weston

Wat het doet

De probleemgebieden waarvoor het model is gebouwd. Een model kan meerdere van elk bevatten.

Domein
Language
Taak
Language modeling
Aanpak
Unsupervised

Grootte

Hoe groot het model is en hoeveel data het is getraind. Parameters zijn het cijfer dat bepaalt of het past op een gegeven grafische kaart.

parameters
1.5M

With a word vector size of 50 and a vocabulary size of 30,000, the embedding matrix has 1,500,000 parameters. There are also some small convolutional and dense layers with far fewer parameters.

Training gegevens
633,000,000 tokens

Section 7: "631 million words from Wikipedia"

De trainingsrun

Wat het fysiek kostte om te trainen: welke chips, hoeveel, hoe lang, en wat dat van het stopcontact vroeg.

Kloktijd
168 hours (7 days)

1 week on 1 computer

Hoe het is geclassificeerd

Labels van de brondataset die worden toegepast bij het volgen van opmerkelijke modellen, en hoe zeker het is van de invoer.

Waarom het wordt gevolgd
Highly cited,SOTA improvement
Record vertrouwen
Speculative
Citaties
7,095

Bronnen

Waar deze record vandaan kwam en wanneer deze voor het laatst is gecontroleerd.

Referentie
A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning
Laatst bijgewerkt
28 November 2025

Wat de cijfers betekenen

Waar het vandaan kwam

Deep Multitask NLP Network werd gepubliceerd door NEC Laboratories, in het land geregistreerd als United States of America, tijdens July 2008. De publicerende organisatie is geclassificeerd als industry.

Het werkt in het domein van Language, en wordt geregistreerd als het uitvoeren van de taak van language modeling.

Omdat de weights niet beschikbaar zijn, zijn geen van de hardwarefiguren elders op deze site van toepassing op het.

Wat erin ging zitten om het te bouwen

Het is getraind op een corpus van ongeveer 633,000,000 tekstokens

De inclusiecriteria: highly cited,SOTA improvement.

Antwoorden

Deep Multitask NLP Network — veelgestelde vragen

01

Deep Multitask NLP Network— is het open-source?

De licenties werden nooit vastgelegd in onze brondocumenten. We beschouwen niet-verklaarde licenties als gesloten, omdat een niet-vastgelegde licentie er geen is om op te vertrouwen.

02

Deep Multitask NLP Network— hoeveel parameters heeft het?

Het heeft een parameter telling van 1.5M. With a word vector size of 50 and a vocabulary size of 30,000, the embedding matrix has 1,500,000 parameters. There are also some small convolutional and dense layers with far fewer parameters. Dat cijfer is het totaal, en het bepaalt hoeveel MEMORY het MODEL nodig heeft - ongeveer een halve gigabyte per miljard bij de compressie die de meeste mensen gebruiken.

03

Deep Multitask NLP Network— wie heeft het gemaakt?

Het werd gepubliceerd door NEC Laboratories, gebaseerd op United States of America, een organisatie geclassificeerd als industry.

04

Deep Multitask NLP Network— wanneer is het uitgebracht?

Het werd gepubliceerd in July 2008. De capaciteit per parameter is aanzienlijk verbeterd sinds, zodat een nieuwere model van dezelfde grootte vaak een betere benutting van dezelfde hardware is.

05

Deep Multitask NLP Network— waarvoor wordt het gebruikt?

Het werkt in het domein van Language, en wordt geregistreerd als het afhandelen van language modeling. Een model kan er verschillende van elk dragen, dus dit zijn de gebieden waarvoor het is gebouwd in plaats van een limiet op wat het zal proberen.

06

Deep Multitask NLP Network— Welke GPU heb ik nodig om het te draaien?

Dit is een gesloten model — de gewichten zijn nooit gepubliceerd, dus het kan niet gedownload of uitgevoerd worden op je eigen hardware voor eender welke prijs. Het is alleen bereikbaar via de aanbieder.

Bron

Originele publicatie

Laatste update geregistreerd 28 November 2025

De andere richting

Van de andere kant bekijken?

Deze pagina begint met het model. Als je al een kaart bezit en alles wilt weten wat het zal draaien, begin in plaats van de hardware.