DensePhrases
Καμία εκτίμηση
Δεν υπάρχουν απαιτήσεις υλικού για αυτό το μοντέλο
Τα βάρη αυτού του μοντέλου είναι OPEN, αλλά κανένας αριθμός παραμέτρων δεν έχει δημοσιευθεί γι' αυτό. Κάθε FIGURE μνήμης και ταχύτητας ξεκινά από αυτόν τον αριθμό, οπότε θα προτιμούσαμε να μην δείξουμε τίποτα παρά μια κατασκευασμένη εκτίμηση..
Σε καταγραφή
Πλήρης προδιαγραφή
Όλα τα καταγεγραμμένα για αυτό το μοντέλο. Τα περισσότερα από αυτά περιγράφουν το πώς εκπαιδεύτηκε παρά το πώς τρέχει — χρήσιμο πλαίσιο για την εκτίμηση του πόση εργασία έχει επενδυθεί σε αυτό, και πώς συγκρίνεται με μοντέλα που έχουν κατασκευαστεί σε διαφορετική κλίμακα..
Προέλευση
Ποιος κατασκεύασε αυτό το μοντέλο, πού και πότε δημοσιεύθηκε.
- Οργάνωση
- Korea University,Princeton University
- Τύπος οργανισμού
- Academia,Academia
- Χώρα
- Korea (Republic of), United States of America
- Δημοσιευμένο
- 23 December 2020
- Συγγραφείς
- Jinhyuk Lee, Mujeen Sung, Jaewoo Kang, Danqi Chen
Τι κάνει
Οι προβληματικές περιοχές για τις οποίες σχεδιάστηκε το μοντέλο. Ένα μοντέλο μπορεί να διαθέτει αρκετές από κάθε μία.
- τομέας
- Language
- Εργασία
- Question answering
Μέγεθος
Πόσο μεγάλο είναι το μοντέλο και πόσα δεδομένα έχει εκπαιδευτεί. Οι παράμετροι είναι ο αριθμός που αποφασίζει αν χωράει σε μια δεδομένη κάρτα γραφικών.
- Δεδομένα εκπαίδευσης
- 58,000,000 tokens
- Εποχές
- 4
from appendix D "The number of generated questions is 327,302 and 1,126,354 for SQuAD and Natural Questions, respectively." assuming 40 words per question we get around ~ 58M
Εκπαίδευση υπολογιστών
Η αριθμητική που πραγματοποιήθηκε για την εκπαίδευση του μοντέλου, μετρημένη σε πράξεις κινητής υποδιαστολής. Είναι ένα μέτρο του κόστους της προπόνησης, όχι της ταχύτητας με την οποία το ολοκληρωμένο μοντέλο σας απαντά.
- Εκπαίδευση υπολογιστών
- 2.1 × 10¹⁸ FLOP
- Πώς ιδρύθηκε
- Hardware
flops = (8) * (1215 * 10**10) * (20 * 3600) * 3 // 10 = 2099520000000000000 (num gpu) * (peak flops) * (time in seconds) * (assumed utilization rate) model of GPU from appendix B (Titan Xp) number of GPUs from table in appendix A flops from https://www.techpowerup.com/gpu-specs/titan-xp.c2948
Η εκπαίδευση run
Τι απαιτήθηκε φυσικά για την εκπαίδευση: ποιες κάρτες, πόσες, για πόσο καιρό, και τι αυτό απαιτούσε από το ρεύμα.
- Υλικό εκπαίδευσης
- NVIDIA TITAN Xp
- χρησιμοποιούμενα τσιπ
- 8
- Τσιπ-ώρες
- 160
- Χρόνος τοίχου
- 20 hours
- Κατανάλωση ενέργειας
- 4.1 kW
appendix A row 3
Διαθεσιμότητα
Εάν μπορείτε να αποκτήσετε το μοντέλο και να το τρέξετε στο δικό σας υλικό, το οποίο αποφασίζει αν οποιαδήποτε από τις αριθμούς της κάρτας γραφικών σε αυτή τη σελίδα ισχύει.
- Βάρη
- Open — downloadable
- Πρόσβαση μοντέλου
- Open weights (unrestricted)
- Κωδικός εκπαίδευσης
- Open source
Apache 2.0: https://github.com/princeton-nlp/DensePhrases
Πώς ταξινομείται
Ετικέτες το πηγαίο σύνολο δεδομένων εφαρμόζει όταν παρακολουθεί σημαντικά μοντέλα, και πόσο βέβαιο είναι στην είσοδο.
- Γιατί παρακολουθείται
- SOTA improvement
- Εγγραφή εμπιστοσύνης
- Speculative
- Παραπομπές
- 128
from abstract "our model DensePhrases improves over previous phrase retrieval models by 15%-25% absolute accuracy and matches the performance of state-of-the-art retriever-reader models. " "we achieve state-of-the-art performance on two slot filling tasks (Petroni et al., 2021), using less than 5% of the training data."
Πηγές
Από πού προήλθε αυτή η καταγραφή και πότε ελέγχθηκε τελευταία φορά.
- Αναφορά
- Learning Dense Representations of Phrases at Scale
- Τελευταία ενημέρωση
- 25 May 2026
Τι σημαίνουν οι αριθμοί
Τι είναι αυτό το μοντέλο
DensePhrases δημοσιεύθηκε από Korea University,Princeton University, στην χώρα καταγεγραμμένη ως Korea (Republic of), κατά τη διάρκεια December 2020. Προέρχεται από έναν οργανισμό που κατατάσσεται ως academia,Academia.
Λειτουργεί στον τομέα της Language, και καταγράφεται ότι εκτελεί την εργασία του question answering.
Τα βάρη είναι δημοσιευμένα, έτσι ώστε να μπορούν να κατεβούν και να τρέξουν στον δικό σας υπολογιστή επ' αόριστον, εκτός σύνδεσης, χωρίς λογαριασμό συνδεδεμένο.
Εκπαίδευση και προελεύσεις
Η εκπαίδευση απαιτούσε έναν υπολογιστικό προϋπολογισμό περίπου 2.1 × 10¹⁸ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA TITAN Xp. Αυτή η τιμή μετράει το κόστος παραγωγής του μοντέλου και δεν έχει σχέση με το πόσο γρήγορα απαντά.
Το σύνολο εκπαίδευσης εκτελέστηκε σε περίπου 58,000,000 κωδικοί κειμένου
Το κριτήριο συμπερασμού του: sOTA improvement.
Απαντήσεις
DensePhrases — κοινές ερωτήσεις
DensePhrases— για τί χρησιμοποιείται;
Λειτουργεί στον τομέα της Language, και καταγράφεται ως διαχείριση της εργασίας του question answering. Αυτές είναι οι περιοχές γύρω από τις οποίες σχεδιάστηκε; Περιγράφουν την πρόθεση παρά ένα αυστηρό όριο.
DensePhrases— πού μπορώ να το κατεβάσω;
Οι παράμετροι είναι δημοσιευμένες, αν και δεν κρατάμε σύνδεσμο αποθετηρίου γι' αυτό. Αυτή η ιστοσελίδα υπολογίζει τις απαιτήσεις υλικού αντί να φιλοξενεί αρχεία μοντέλων.
DensePhrases— πόσο υπολογιστική ισχύς χρησιμοποιήθηκε για την εκπαίδευσή του;
Η εκπαίδευση κατανάλωσε περίπου 2.1 × 10¹⁸ FLOP, σε υλικό καταγεγραμμένο ως NVIDIA TITAN Xp. Αυτό μετράει το κόστος παραγωγής του μοντέλου και δεν λέει τίποτα για το πόσο γρήγορα απαντά μόλις εκπαιδευτεί — η ταχύτητα συμπερασμάτων προέρχεται από τον δίαυλο μνήμης, όχι από τον προϋπολογισμό εκπαίδευσης.
DensePhrases— ποια GPU χρειάζομαι για να το τρέξω;
Δεν μπορούμε να πούμε. Έχει OPEN WEIGHTS, αλλά δεν έχει δημοσιευτεί καμία μέτρηση παραμέτρων για αυτό, και όλοι οι υπολογισμοί ΜΝΗΜΗΣ και ταχύτητας ξεκινούν από αυτόν τον αριθμό. Θα προτιμούσαμε να μην δείξουμε τίποτα από το να δώσουμε μια κατασκευασμένη εκτίμηση.
DensePhrases— είναι ανοιχτού κώδικα;
Οι βάσεις του είναι δημοσιευμένες, οπότε μπορεί να κατέβει και να τρέξει σε δικό σας υλικό. Σημειώστε ότι τα open weights δεν είναι το ίδιο με το open source με την πλήρη έννοια — δεν λέει τίποτα για τα δεδομένα εκπαίδευσης, τον κώδικα εκπαίδευσης ή τους εμπορικούς όρους που συσχετίζονται.
DensePhrases— πόσες παραμέτρους έχει;
Δεν έχει δημοσιευθεί αριθμός παραμέτρων γι' αυτό, γι' αυτό και δεν εμφανίζεται καμία τιμή μνήμης ή ταχύτητας σε αυτή τη σελίδα.
DensePhrases— ποιος το δημιούργησε;
Δημοσιεύθηκε από Korea University,Princeton University, βασισμένο σε Korea (Republic of), μία οργάνωση κατηγοριοποιημένη ως academia,Academia.
DensePhrases— πότε κυκλοφόρησε;
Δημοσιεύθηκε σε December 2020. Η ικανότητα ανά παράμετρο έχει βελτιωθεί σημαντικά από τότε, οπότε ένα νέο ΜΟΝΤΕΛ του ίδιου μεγέθους είναι συχνά η καλύτερη χρήση του ίδιου υλικού.
Η άλλη κατεύθυνση
Κοιτάζοντας το από την άλλη πλευρά;
Αυτή η σελίδα ξεκινά από το μοντέλο. Αν έχετε ήδη μια κάρτα και θέλετε να μάθετε τα πάντα για το τι θα τρέξει., ξεκινήστε από το υλικό αντ' αυτού.