Υπολογίστε την TPS του Xeon Phi 5120D σε τοπικά AI μοντέλα

Intel 8 GB GDDR5 320 GB/s June 2013

Κάθε μοντέλο στον κατάλογό μας αξιολογήθηκε σε σχέση με αυτή την ΚΑΡΤΑ στη διάρκεια του CONTEXT LENGTH και της ελάχιστης ποιότητας που επιλέγετε. Η ταχύτητα είναι μια εκτίμηση για ένα μόνο αίτημα, υπολογισμένη από το MEMORY BANDWIDTH αυτής της ΚΑΡΤΑΣ και το μέγεθος κάθε μοντέλου μόλις συμπιεστεί..

Υπολογίστηκε για αυτήν την κάρτα

337 μοντέλα που μπορεί να εκτελέσει

679 μοντέλα στον κατάλογό μας συνολικά

Το μεγαλύτερο μοντέλο που κρατάει

Baichuan 1-13B

13.3B · Q3_K_M · 17.9 tok/s

Ταχύτερο μοντέλο

Gemma 3 QAT 1B

88.1 tok/s · 1B

Ποια AI μοντέλα μπορούν να τρέξουν σε μια Xeon Phi 5120D?

Ορίστε τις εισόδους, διαβάστε την απάντηση

Μήκος συμφραζομένων μουσικά κομμάτια

Περισσότερα συμφραζόμενα σημαίνει περισσότερη μνήμη για την κρυφή μνήμη της συνομιλίας. Η ταχύτητα είναι για μια νέα συνομιλία και δεν αλλάζει με αυτή τη ρύθμιση..

Ελάχιστη ποιότητα

Κρύβει μοντέλα που θα χωρούσαν μόνο αν συμπιεστούν κάτω από αυτό το σημείο.

Αναζήτηση μοντέλων

Μέγεθος μοντέλου

Απελευθερώθηκε

Επίσης δείξτε μοντέλα που δεν μπορεί να τρέξει

337 τα μοντέλα ταιριάζουν

Υπολογισμός

						Ποσοτικοποίηση	Καλά
88.1 tok/s 53–141 · χαμηλή εμπιστοσύνη	Gemma 3 1B	1B	Mar 2025	1.8 GB	33k μουσικά κομμάτια	Q8_0	Άνετο
88.1 tok/s 53–141 · χαμηλή εμπιστοσύνη	Gemma 3 QAT 1B	1B	Apr 2025	1.8 GB	33k μουσικά κομμάτια	Q8_0	Άνετο
88.1 tok/s 53–141 · χαμηλή εμπιστοσύνη	HGRN 1B (WT 103) ≈	1B	Nov 2023	1.8 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
88.1 tok/s 53–141 · χαμηλή εμπιστοσύνη	LLama 3..2 Typhoon 2 1B ≈	1B	Dec 2024	1.8 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
88.1 tok/s 53–141 · χαμηλή εμπιστοσύνη	OLMo-1B ≈	1B	Feb 2024	1.8 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
88.1 tok/s 53–141 · χαμηλή εμπιστοσύνη	Pythia-1b ≈	1B	Apr 2023	1.8 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
81.6 tok/s 49–131 · χαμηλή εμπιστοσύνη	OpenELM-1.1B ≈	1.1B	May 2024	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
80.1 tok/s 48–128 · χαμηλή εμπιστοσύνη	DeciCoder-1B ≈	1.1B	Aug 2023	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
80.1 tok/s 48–128 · χαμηλή εμπιστοσύνη	SantaCoder ≈	1.1B	Jan 2023	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
80.1 tok/s 48–128 · χαμηλή εμπιστοσύνη	TinyLlama-1.1B (1T token checkpoint) ≈	1.1B	Oct 2023	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
80.1 tok/s 48–128 · χαμηλή εμπιστοσύνη	TinyLlama-1.1B (3T token checkpoint) ≈	1.1B	Oct 2023	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
73.4 tok/s 44–117 · χαμηλή εμπιστοσύνη	EXAONE 4.0 (1.2B) ≈	1.2B	Jul 2025	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
73.4 tok/s 44–117 · χαμηλή εμπιστοσύνη	MinerU2.5 ≈	1.2B	Sep 2025	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
73.4 tok/s 44–117 · χαμηλή εμπιστοσύνη	Pleias 1.0 1.2B ≈	1.2B	Dec 2024	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
73.4 tok/s 44–117 · χαμηλή εμπιστοσύνη	Pleias-RAG-1B ≈	1.2B	Apr 2025	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
71.6 tok/s 43–115 · χαμηλή εμπιστοσύνη	Llama 3.2 1B	1.2B	Sep 2024	2.2 GB	131k μουσικά κομμάτια	Q8_0	Άνετο
70.6 tok/s 42–113 · χαμηλή εμπιστοσύνη	MiniCPM-1.2B ≈	1.2B	Jun 2024	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
67.8 tok/s 41–108 · χαμηλή εμπιστοσύνη	DeepSeek Coder 1.3B ≈	1.3B	Jan 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
67.8 tok/s 41–108 · χαμηλή εμπιστοσύνη	DeepSeek-VL-1.3B ≈	1.3B	Mar 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
67.8 tok/s 41–108 · χαμηλή εμπιστοσύνη	DigiRL ≈	1.3B	Jun 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
67.8 tok/s 41–108 · χαμηλή εμπιστοσύνη	GLA Transformer 1.3B ≈	1.3B	Aug 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
67.8 tok/s 41–108 · χαμηλή εμπιστοσύνη	Janus 1.3B ≈	1.3B	Oct 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
67.8 tok/s 41–108 · χαμηλή εμπιστοσύνη	Kosmos-2.5 ≈	1.3B	Aug 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
67.8 tok/s 41–108 · χαμηλή εμπιστοσύνη	Otter ≈	1.3B	May 2023	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
67.8 tok/s 41–108 · χαμηλή εμπιστοσύνη	Phi-1 ≈	1.3B	Oct 2023	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο

Οι ταχύτητες είναι εκτιμήσεις για ένα μόνο αίτημα — μία συνομιλία τη φορά — υπολογισμένες από την μνήμη, το μέγεθος του μοντέλου και την ποσοτικοποίηση. Η πραγματική διακύμανση έξοδου ποικίλλει με τον χρόνο εκτέλεσης συμπερασμάτων και την έκδοσή του. Οι αριθμοί που δημοσιεύονται από τους προμηθευτές υλικού μετρούν πολλές ταυτόχρονες αιτήσεις και είναι πολύ υψηλότεροι..

Σε καταγραφή

Xeon Phi 5120D Πλήρης προδιαγραφή

Τα πάντα σε αρχείο για αυτήν την κάρτα, ταξινομημένα κατά πόσο σχετίζονται με τη λειτουργία ενός AI μοντέλου παρά σύμφωνα με το πώς θα το κατέγραφε ένα φύλλο προδιαγραφών. Η ΜΝΗΜΗ έρχεται πρώτη γιατί αποφασίζει το αποτέλεσμα; το υπόλοιπο είναι CONTEXT..

Μνήμη

Οι δύο προδιαγραφές που αποφασίζουν ποιο μοντέλο μπορεί να τρέξει αυτή η ΚΑΡΤΑ και με ποια ταχύτητα. Η ικανότητα καθορίζει ποια μοντέλα ταιριάζουν· το bandwidth καθορίζει πόσα tokens ανά δευτερόλεπτο παράγουν μόλις ταιριάξουν.

Μέγεθος μνήμης: 8 GB
Μνήμη εύρους ζώνης: 320 GB/s
Τύπος μνήμης: GDDR5
Πλάτος διαύλου μνήμης: 512 bit
Ρολογιά μνήμης: 1.25 GHz

Το τσιπ

Ποιος επεξεργαστής είναι πάνω στην πλακέτα και πώς κατασκευάστηκε. Ένα μικρότερο μέγεθος διαδικασίας γενικά σημαίνει περισσότερη απόδοση για την ίδια ισχύ.

Γραφικός επεξεργαστής: Knights Corner
Αρχιτεκτονική: Knights
Γενιά: Knights Corner(x100)
Μέταλλο: Intel
Μέγεθος διαδικασίας: 22 nm
Τρανζίστορ: 5 billion
Πυκνότητα τρανζίστορ: 6,900 K/mm²
Μέγεθος τσιπ: 720 mm²
Απελευθερώθηκε: 17 June 2013

Ταχύτητες ρολογιού

Πόσο γρήγορα λειτουργεί ο επεξεργαστής. Αξίζει πολύ λιγότερο εδώ από ό,τι σε ένα gaming benchmark: η δημιουργία κειμένου περιορίζεται από το MEMORY BANDWIDTH, έτσι μια υψηλότερη συχνότητα barely moves το αποτέλεσμα.

Βασική συχνότητα: 1.05 GHz
Ωθήσει ρολογιού: 1.05 GHz

Μονάδες Επεξεργασίας

Τι περιέχει το τσιπ. Αυτά οδηγούν την απόδοση γραφικών και έχουν σημασία κυρίως για την επεξεργασία μιας μακράς προτροπής αντί για την παραγωγή της απάντησης.

Μονάδες σκίασης: 960
Μονάδες Χαρτογράφησης Υφής: 32

Θεωρητική Απόδοση

Οι κορυφαίοι ρυθμοί αριθμητικών υπολογισμών που δημοσιεύθηκαν για την κάρτα. Αυτές είναι ανώτατα όρια που καμία πραγματική εργασία δεν φτάνει, και η παραγωγή κειμένου φτάνει μόνο σε ένα μικρό ποσοστό αυτών επειδή περιορίζεται από τη μνήμη αντί για την αριθμητική.

Μονή ακρίβεια (FP32): 2 TFLOPS
Ρυθμός υφής: 34 GTexel/s

Η πλακέτα

Τι απαιτείται για να εγκαταστήσετε φυσικά και να τροφοδοτήσετε την ΚΑΡΤΑ — οι πρακτικοί περιορισμοί που αποφασίζουν αν ταιριάζει στη μηχανή που ήδη έχετε.

Κατανάλωση ενέργειας (TDP): 245 W
Προτεινόμενη τροφοδοσία: 550 W
Διασύνδεση λεωφορείου: PCIe 2.0 x16
Πλάτος υποδοχής: Dual-slot
Διαστάσεις: 248 mm

Υποστήριξη λογισμικού

Ποιες γραφικές και υπολογιστικές διεπαφές υποστηρίζει η κάρτα. Η δυνατότητα υπολογισμού CUDA είναι αυτή που επηρεάζει την εκτίμηση: κάτω από 7.0 δεν υπάρχουν πυρήνες tensor, και το σύγχρονο λογισμικό εκτίμησης επιστρέφει σε πιο αργούς κωδικούς.

OpenCL: 1.2
Μοντέλο Σκίασης: 5.0

Καταχωρίσεις

Πού να αγοράσω ένα Xeon Phi 5120D

Κανένας προμηθευτής δεν καταχωρεί αυτήν την κάρτα αυτή τη στιγμή. Οι καταχωρίσεις προέρχονται από προμηθευτές που τις δημοσιεύουν εδώ απευθείας. — περιηγηθείτε στον κατάλογο προμηθευτών να δεις ποιος πουλάει τι.

Τι σημαίνουν οι αριθμοί

Γιατί η μνήμη είναι ο αριθμός που έχει σημασία εδώ

Μνήμη

8 GB

Εύρος ζώνης

320 GB/s

Μεγαλύτερο μοντέλο

Baichuan 1-13B

Xeon Phi 5120D κρατά μόνο 8 GB του GDDR5. Αυτό περιορίζει το μοντέλο στο μικρότερο άκρο του καταλόγου, και ένα μοντέλο πρέπει να χωράει ολόκληρο πριν δημιουργήσει οτιδήποτε. Ένα runtime στην πραγματικότητα παίρνει περίπου 7.2 GB.

Η μνημονική εύρος ζώνης φτάνει 320 GB/s πέρα από ένα λεωφορείο του 512 μπίτ. Αυτος είναι ο αριθμός που κυβερνά την ταχύτητα παραγωγής — η αριθμητική ανά byte ανάγνωση είναι αρκετά μικρή ώστε το λεωφορείο, όχι οι πυρήνες, να είναι αυτό που περιμένει τα πάντα.

Το bandwidth είναι συχνότητα επί πλάτους του λεωφορείου, και αυτή η κάρτα ρολογίζει τη μνήμη της στο 1.25 GHz. Διεύρυνση του λεωφορείου και αύξηση του ρολογιού είναι οι δύο μοχλοί που έχει ένας κατασκευαστής, γι' αυτό και μια κάρτα με αδιάφορους πυρήνες μπορεί ακόμα να παράγει γρήγορα.

Η πρακτική οροφή είναι Baichuan 1-13B, 13.3B, συμπιεσμένο σε Q3_K_M και δημιουργώντας γύρω 17.9 tokens ανά δευτερόλεπτο

Το τσιπ και πώς κατασκευάστηκε

Xeon Phi 5120D είναι κατασκευασμένο πάνω στον επεξεργαστή γραφικών Knights Corner, χρησιμοποιώντας την αρχιτεκτονική Knights από Intel, ως μέρος της γενιάς Knights Corner(x100).

Το τσιπ κατασκευάζεται από Intel, σε μια διαδικασία της 22 νμ, με ένα ζάρι που μετράει 720 mm², κρατώντας 5 billion Τρανζίστορ. Μια μικρότερη διαδικασία σημαίνει γενικά περισσότερη απόδοση για την ίδια ισχύ, αν και για τα γλωσσικά μοντέλα έχει πολύ λιγότερη σημασία από το υποσύστημα μνήμης.

Δημοσιεύτηκε το June 2013, χονδρικά 13.122798515375 χρόνια πριν. Η υποστήριξη λογισμικού INFERENCE τείνει να ακολουθεί την υλικοτεχνική υποδομή κατά ένα ή δύο χρόνια, οπότε μια κάρτα αυτής της ηλικίας γενικά διαθέτει ώριμους, καλά βελτιστοποιημένους κώδικες που της είναι διαθέσιμοι.

Διαδικασία υπολογισμού, και γιατί έχει λιγότερη σημασία απ' ότι φαίνεται

Οι ρολόγια τρέχουν από μια βάση του 1.05 GHz σε μια αύξησηของ 1.05 GHz. Αξίζει πολύ λιγότερο εδώ από ό,τι σε ένα gaming benchmark: η αύξηση των ρολογιών επιταχύνει την αριθμητική, και η αριθμητική δεν είναι αυτό που περιμένει η γενιά.

Κρυφή μνήμη και μονάδες επεξεργασίας

Υπάρχουν 960 Μονάδες σκίασης, 32 Μονάδες Χαρτογράφησης Υφής. Αυτά οδηγούν τα γραφικά φορτία εργασίας και συμβάλλουν στην επεξεργασία εντολών, αλλά παραμένουν ανενεργά για μεγάλο μέρος του χρόνου που χρειάζεται ένα μοντέλο για να παράγει μια απάντηση.

Ικανότητα, μέγεθος και εγκατάσταση

Κατανάλωση ενέργειας

245 W

Xeon Phi 5120D βαθμολογείται σε 245 W, και η προτεινόμενη τροφοδοσία συστήματος είναι 550 W. Η εκτέλεση ενός γλωσσικού μοντέλου κρατά μια κάρτα απασχολημένη σε εκρήξεις παρά συνεχώς — απορροφά έντονα κατά τη διαδικασία παραγωγής και αδρανεί μεταξύ των αιτημάτων — έτσι η διαρκής κατανάλωση κατά τη διάρκεια μιας εργάσιμης ημέρας είναι συνήθως πολύ κάτω από την αναγραφόμενη τιμή.

Η κάρτα καταλαμβάνει dual-slot, μετρήσεις 248 μμ μήκους. Αξίζει να ελεγχθεί σε σχέση με την περίπτωση και την τροφοδοσία που είναι ήδη στη μηχανή, καθώς οι μεγαλύτερες κάρτες χρειάζονται σημαντικά περισσότερα και από τα δύο σε σύγκριση με ό,τι παρέχει ένα τυπικό επιτραπέζιο.

Συνδέεται μέσω PCIe 2.0 x16. Η διεπαφή ρυθμίζει πόσο γρήγορα ένα μοντέλο φορτώνεται από το δίσκο στην κάρτα, όχι πόσο γρήγορα εκτελείται μόλις εκεί, έτσι μια στενότερη σύνδεση κοστίζει μερικά δευτερόλεπτα στην εκκίνηση και τίποτα μετά από αυτό.

Οι ακραίοι

Οι μεγαλύτεροι AI μοντέλα που τρέχουν σε μια Xeon Phi 5120D

Τα μεγαλύτερα OPEN WEIGHT μοντέλα που ταιριάζουν σε αυτή την CARD, τα νεότερα πρώτα. Κάθε ένα εμφανίζεται με την καλύτερη συμπίεση που μπορεί να κρατήσει η CARD..

01 OLMo 2 Furious 13B 13B · Q3_K_M · Dec 2024 18.3 tok/s
02 Cambrian-1-13B 13B · Q3_K_M · Jun 2024 18.3 tok/s
03 Fugaku-LLM 13B · Q3_K_M · May 2024 18.3 tok/s
04 OpenThaiGPT v1.0.0 (13B) 13.1B · Q3_K_M · Apr 2024 18.2 tok/s
05 Aya 13B · Q3_K_M · Feb 2024 18.3 tok/s
06 Elyza 13B · Q3_K_M · Dec 2023 18.3 tok/s
07 NexusRaven-V2 13B · Q3_K_M · Dec 2023 18.3 tok/s
08 Baize-v2-13B (白泽) 13B · Q3_K_M · Dec 2023 18.3 tok/s
09 Stockmark-13B 13.2B · Q3_K_M · Oct 2023 18.0 tok/s
10 Baichuan 1-13B 13.3B · Q3_K_M · Jul 2023 17.9 tok/s

Οι ταχύτεροι AI μοντέλα σε μια Xeon Phi 5120D

Όπου αυτή η ΚΑΡΤΑ παράγει τούβλα γρηγορότερα. Μικρότερα μοντέλα κυριαρχούν εδώ, επειδή η παραγωγή κάθε τούβλου σημαίνει να διαβάζουμε ολόκληρο το μοντέλο από τη μνήμη μία φορά..

01 Gemma 3 QAT 1B 1B · Q8_0 · 1.8 GB 88.1 tok/s
02 Gemma 3 1B 1B · Q8_0 · 1.8 GB 88.1 tok/s
03 LLama 3..2 Typhoon 2 1B 1B · Q8_0 · 1.8 GB 88.1 tok/s
04 OLMo-1B 1B · Q8_0 · 1.8 GB 88.1 tok/s
05 HGRN 1B (WT 103) 1B · Q8_0 · 1.8 GB 88.1 tok/s
06 Pythia-1b 1B · Q8_0 · 1.8 GB 88.1 tok/s
07 OpenELM-1.1B 1.1B · Q8_0 · 1.9 GB 81.6 tok/s
08 TinyLlama-1.1B (1T token checkpoint) 1.1B · Q8_0 · 1.9 GB 80.1 tok/s
09 TinyLlama-1.1B (3T token checkpoint) 1.1B · Q8_0 · 1.9 GB 80.1 tok/s
10 DeciCoder-1B 1.1B · Q8_0 · 1.9 GB 80.1 tok/s

Βήμα προς βήμα

Πώς να υπολογίσετε τους TOKENS ανά ΔΕΥΤΕΡΟΛΕΠΤΟ ενός Xeon Phi 5120D

Δεν χρειάζεται να υπολογίσετε τίποτα με το χέρι — ο υπολογιστής gputps.com σε αυτή τη σελίδα έχει ήδη υπολογίσει για κάθε μοντέλο που μπορεί να κρατήσει αυτή η κάρτα. Η ανάγνωση της απάντησης απαιτεί έξι βήματα..

01

Μοντέλο AI που δεν χωράει σε GPU VRAM. Τεταμένη, σχεδόν εκτελέσιμη. Άνετη, τρέχει εύκολα. Ανοικτό βάρος AI μοντέλου που είναι διαθέσιμο στη βάση δεδομένων μας. Νέες GPU κυκλοφορίες. Οριακή μνήμη/δεσμευμένη μνήμη GPU VRAM/εύρος ζώνης. Κάρτα GPU. Μήκος συμφραζομένων AI.

Ο πίνακας απαριθμεί 337 μοντέλα που διαχειρίζεται η κάρτα. Το πλαίσιο αναζήτησης δέχεται ένα όνομα ή ένα μέγεθος όπως 27b, που ταιριάζει με τον αριθμό παραμέτρων.
02

Ορίστε το μήκος του πλαισίου (context length) που θα χρησιμοποιήσεις πραγματικά

Ρυθμίστε το πλαίσιο στο πραγματικό σας μήκος εργασίας. Οι σύντομες ερωτήσεις κοστίζουν σχεδόν τίποτα, αλλά ένα μεγάλο έγγραφο μπορεί να καταναλώσει ένα μεγάλο μερίδιο από 8 GB έτσι οι ρυθμίσεις αξίζουν να γίνουν σωστά.
03

Κλειδώστε τη σύγκριση σε ένα επίπεδο ποιότητας

Κάθε μοντέλο εμφανίζεται στη καλύτερη συμπίεση που μπορεί να κρατήσει αυτή η ΚΑΡΤΑ. Μια ελάχιστη ποιότητα κρύβει εκείνα που χωρούν μόνο αν σφίγγονται περισσότερο από ό,τι θα αποδεχόσασταν.
04

Κοίτα το φάσμα, όχι μόνο τον αριθμό

Κάθε ταχύτητα είναι μια εκτίμηση για μια μεμονωμένη συνομιλία, με μια κλίμακα από κάτω της. Η κορυφαία τιμή εδώ είναι 88.1 τόκ/σ σε Gemma 3 QAT 1B. Η ίδια κάρτα και μοντέλο διαφέρει κατά τριάντα έως πενήντα τοις εκατό μεταξύ των χρόνων εκτέλεσης συμπερασμάτων.
05

Έλεγξε τη στήλη μνήμης πριν δεσμεύσεις

Η στήλη εφαρμογής χωρίζει τα μοντέλα που απλώς ταιριάζουν από αυτά που έχουν περιθώριο — αξίζει να ελεγχθεί πριν από την επιλογή ενός, σε σχέση με ένα διαθέσιμο 8 GB.
06

Έλεγξε το ίδιο μοντέλο από την άλλη πλευρά

Ακολουθώντας ένα μοντέλο μέχρι τη δική του σελίδα, καταγράφει όλα τα υλικά που μπορούν να το εκτελέσουν, ώστε να μπορείτε να δείτε πώς συγκρίνεται με Xeon Phi 5120D.

Απαντήσεις

Xeon Phi 5120D — κοινές ερωτήσεις

Xeon Phi 5120D— μπορεί να τρέξει 7B μοντέλα;

Ναι. Για παράδειγμα τρέχει. MetaMath 7B (LLaMa finetune) σε Q4_K_M, χρησιμοποιώντας περίπου 6.5 GB μνήμης και δημιουργία γύρω από 29.1 tokens ανά δευτερόλεπτο

Xeon Phi 5120D— μπορεί να τρέξει 13B μοντέλα;

Ναι. Για παράδειγμα τρέχει. Gemma 4 12B σε Q3_K_M, χρησιμοποιώντας περίπου 6.5 GB μνήμης και δημιουργία γύρω από 19.9 tokens ανά δευτερόλεπτο

Xeon Phi 5120D— πόση μνήμη έχει;

Αυτή η GPU έχει 8 GB του GDDR5. Γύρω από το ένα δέκατο είναι δεσμευμένο από την εκτέλεση συμπερασμού και τον οδηγό, αφήνοντας περίπου 7.2 GB διαθέσιμο για ένα μοντέλο και τη συζήτησή του.

Xeon Phi 5120D— ποια είναι η εύρος ζώνης μνήμης της;

Η μνημονική εύρος ζώνης φτάνει 320 GB/s πέρα από ένα λεωφορείο του 512 μπίτ. Αυτή είναι η μοναδική καλύτερη πρόβλεψη για το πόσο γρήγορα παράγει κείμενο, επειδή η παραγωγή κάθε token σημαίνει την ανάγνωση ολόκληρου του μοντέλου έξω από τη μνήμη μία φορά.

Xeon Phi 5120D— ποιο τύπο μνήμης χρησιμοποιεί;

Χρησιμοποιεί GDDR5 χρονισμένος σε 1.25 GHz. Οι τύποι HBM βρίσκονται σε επιταχυντές κέντρων δεδομένων και διαθέτουν πολύ περισσότερη εύρυθμη απόδοση από την GDDR που χρησιμοποιείται σε GPU καρτών επιτραπέζιου υπολογιστή, γι' αυτό και δημιουργούν tokens σημαντικά πιο γρήγορα με την ίδια χωρητικότητα.

Xeon Phi 5120D— ποιος το κατασκευάζει;

Αυτό είναι ένα προϊόν του Intel, με το τσιπ που κατασκευάστηκε από Intel, σε μια διαδικασία της 22 νμ.

Xeon Phi 5120D— πότε κυκλοφόρησε;

Δημοσιεύτηκε το June 2013.

Xeon Phi 5120D— πόση ισχύς χρησιμοποιεί;

Η αξιολογούμενη ισχύς της κάρτας είναι 245 W, και η προτεινόμενη τροφοδοσία συστήματος είναι 550 W. Η δημιουργία κειμένου απαιτεί ένταση σε εκρήξεις και είναι σε κατάσταση αναμονής μεταξύ των αιτημάτων, οπότε η μέση κατανάλωση κατά τη διάρκεια μιας εργάσιμης συνεδρίας είναι κανονικά πολύ κάτω από την αξιολογούμενη τιμή.

Xeon Phi 5120D— υποστηρίζει CUDA;

Όχι. Η CUDA είναι αποκλειστική για την NVIDIA και αυτή είναι μια κάρτα από Intel. Εκτελεί τα μοντέλα γλώσσας μέσω ROCm, Vulkan ή Metal ανάλογα με το λογισμικό, τα οποία είναι λιγότερο ώριμα από την πορεία CUDA — οι εκτιμήσεις μας επιβάλλουν ποινή γι' αυτό.

Xeon Phi 5120D— ποια είναι η διεπαφή bus που χρησιμοποιεί;

Χρησιμοποιεί PCIe 2.0 x16. Αυτό διέπει πόσο γρήγορα φορτώνεται ένα μοντέλο στην κάρτα αντί για το πόσο γρήγορα τρέχει μόλις φορτωθεί, οπότε κοστίζει μερικά δευτερόλεπτα κατά την εκκίνηση και τίποτα κατά τη διάρκεια της γεννήσεως.

Xeon Phi 5120D— είναι καλό για να τρέξετε τοπικά AI μοντέλα;

Η μνήμη του περιορίζει τα μικρότερα μοντέλα, αν και το εύρος ζώνης του σημαίνει ότι η γενιά θα είναι αργή σε μεγαλύτερα μοντέλα. Στην συνολική του λειτουργία είναι 337 των μοντέλων που παρακολουθούμε. Εάν αυτό είναι αρκετό εξαρτάται αποκλειστικά από το ποιο μοντέλο θέλετε — ο παραπάνω πίνακας απαντά σε αυτό απευθείας.

Xeon Phi 5120D— μπορεί να τρέξει ένα μοντέλο που δεν χωράει στη μνήμη του;

Μόνο μερικώς. Επίπεδα πέρα από την κάρτα. 8 GB είναι πιθανό και συνήθως μια ψευδής οικονομία: το ποσοστό μνήμης-συστήματος είναι αρκετά αργό ώστε να κυριαρχεί στο αποτέλεσμα.

Θα μπορούσαν δύο Xeon Phi 5120D οι κάρτες θα είναι δύο φορές πιο γρήγορες;

Η χωρητικότητα προστίθεται, η ροή δεν προστίθεται. Δύο από αυτά σας δίνουν 16 GB που σας επιτρέπει να κρατάτε μοντέλα που κανένα από τα δύο δεν θα μπορούσε να κρατήσει μόνο του, αλλά η γενιά δεν χωρίζει με αυτόν τον τρόπο. Αυτές οι αριθμοί περιγράφουν μια κάρτα.

Xeon Phi 5120D— ποια AI μοντέλα μπορεί να εκτελέσει;

337 του 679 Οι ανοιχτού τύπου γλωσσικοί μοντέλοι που παρακολουθούμε ταιριάζουν σε αυτή την κάρτα και μπορούν να εκτελούνται τοπικά. Ο πίνακας σε αυτή τη σελίδα απαριθμεί τον καθένα, με τη μνήμη που χρειάζεται, την ποσοτικοποίηση στην οποία εκτελείται και μια εκτιμώμενη ταχύτητα παραγωγής.

Xeon Phi 5120D— ποιο είναι το μεγαλύτερο AI μοντέλο που μπορεί να τρέξει;

Το μεγαλύτερο μοντέλο στον κατάλογό μας που χωράει είναι Baichuan 1-13B σε 13.3B παραμέτρους, συμπιεσμένο σε Q3_K_M. Παράγει περίπου 17.9 δεσμεύσεις ανά δευτερόλεπτο και χρειάζονται περίπου 7.2 GB της μνήμης της κάρτας.

Xeon Phi 5120D— πόσοι τόκεν ανά δευτερόλεπτο παράγει;

Εξαρτάται από το ΜΟΝΤΕΛΟ. Το πιο γρήγορο ΜΟΝΤΕΛΟ που παρακολουθούμε εδώ είναι Gemma 3 QAT 1B γύρω από 88.1 διακυμάνσεις ανά δευτερόλεπτο, ενώ μεγαλύτερα μοντέλα τρέχουν αναλογικά πιο αργά επειδή κάθε διακυμάνση απαιτεί την ανάγνωση ολόκληρου του μοντέλου από τη μνήμη μία φορά. Οι ταχύτητες είναι εκτιμήσεις για μία μόνο συνομιλία τη φορά.

Η άλλη κατεύθυνση

Κοιτάζοντας το από την άλλη πλευρά;

Αυτή η σελίδα ξεκινά από το υλικό. Αν ήδη ξέρετε ποιο ΜΟΝΤΕΛ θέλετε και χρειάζεστε να ξέρετε τι απαιτείται για να το ΤΡΕΞΕΤΕ., Αρχίστε από το ΜΟΝΤΕΛΟ..

Όλες οι GPUs