Υπολογίστε την TPS του Data Center GPU Max Subsystem σε τοπικά AI μοντέλα

Intel 128 GB HBM2e 3,210 GB/s January 2023

Κάθε μοντέλο στον κατάλογό μας αξιολογήθηκε σε σχέση με αυτή την ΚΑΡΤΑ στη διάρκεια του CONTEXT LENGTH και της ελάχιστης ποιότητας που επιλέγετε. Η ταχύτητα είναι μια εκτίμηση για ένα μόνο αίτημα, υπολογισμένη από το MEMORY BANDWIDTH αυτής της ΚΑΡΤΑΣ και το μέγεθος κάθε μοντέλου μόλις συμπιεστεί..

Υπολογίστηκε για αυτήν την κάρτα

658 μοντέλα που μπορεί να εκτελέσει

721 μοντέλα στον κατάλογό μας συνολικά

Το μεγαλύτερο μοντέλο που κρατάει

Solar Open2 250B

250.3B · Q3_K_M · 52.9 tok/s

Ταχύτερο μοντέλο

Gemma 3 QAT 1B

884 tok/s · 1B

Ποια AI μοντέλα μπορούν να τρέξουν σε μια Data Center GPU Max Subsystem?

Ορίστε τις εισόδους, διαβάστε την απάντηση

Περισσότερα συμφραζόμενα σημαίνει περισσότερη μνήμη για την κρυφή μνήμη της συνομιλίας. Η ταχύτητα είναι για μια νέα συνομιλία και δεν αλλάζει με αυτή τη ρύθμιση..

Κρύβει μοντέλα που θα χωρούσαν μόνο αν συμπιεστούν κάτω από αυτό το σημείο.

658 τα μοντέλα ταιριάζουν

Υπολογισμός
Ποσοτικοποίηση Καλά
884 tok/s

530–1,414 · χαμηλή εμπιστοσύνη

Gemma 3 1B 1B Mar 2025 1.8 GB 33k μουσικά κομμάτια Q8_0 Άνετο
884 tok/s

530–1,414 · χαμηλή εμπιστοσύνη

Gemma 3 QAT 1B 1B Apr 2025 1.8 GB 33k μουσικά κομμάτια Q8_0 Άνετο
884 tok/s

530–1,414 · χαμηλή εμπιστοσύνη

HGRN 1B (WT 103) ≈ 1B Nov 2023 1.8 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
884 tok/s

530–1,414 · χαμηλή εμπιστοσύνη

LLama 3..2 Typhoon 2 1B ≈ 1B Dec 2024 1.8 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
884 tok/s

530–1,414 · χαμηλή εμπιστοσύνη

OLMo-1B ≈ 1B Feb 2024 1.8 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
884 tok/s

530–1,414 · χαμηλή εμπιστοσύνη

Pythia-1b ≈ 1B Apr 2023 1.8 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
818 tok/s

491–1,309 · χαμηλή εμπιστοσύνη

OpenELM-1.1B ≈ 1.1B May 2024 1.9 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
803 tok/s

482–1,285 · χαμηλή εμπιστοσύνη

DeciCoder-1B ≈ 1.1B Aug 2023 1.9 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
803 tok/s

482–1,285 · χαμηλή εμπιστοσύνη

SantaCoder ≈ 1.1B Jan 2023 1.9 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
803 tok/s

482–1,285 · χαμηλή εμπιστοσύνη

TinyLlama-1.1B (1T token checkpoint) ≈ 1.1B Oct 2023 1.9 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
803 tok/s

482–1,285 · χαμηλή εμπιστοσύνη

TinyLlama-1.1B (3T token checkpoint) ≈ 1.1B Oct 2023 1.9 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
736 tok/s

442–1,178 · χαμηλή εμπιστοσύνη

EXAONE 4.0 (1.2B) ≈ 1.2B Jul 2025 2.0 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
736 tok/s

442–1,178 · χαμηλή εμπιστοσύνη

LFM2-1.2B ≈ 1.2B Jul 2025 2.0 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
736 tok/s

442–1,178 · χαμηλή εμπιστοσύνη

MinerU2.5 ≈ 1.2B Sep 2025 2.0 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
736 tok/s

442–1,178 · χαμηλή εμπιστοσύνη

Pleias 1.0 1.2B ≈ 1.2B Dec 2024 2.0 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
736 tok/s

442–1,178 · χαμηλή εμπιστοσύνη

Pleias-RAG-1B ≈ 1.2B Apr 2025 2.0 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
718 tok/s

431–1,150 · χαμηλή εμπιστοσύνη

Llama 3.2 1B 1.2B Sep 2024 2.2 GB 131k μουσικά κομμάτια Q8_0 Άνετο
708 tok/s

425–1,133 · χαμηλή εμπιστοσύνη

MiniCPM-1.2B ≈ 1.2B Jun 2024 2.0 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
680 tok/s

408–1,088 · χαμηλή εμπιστοσύνη

DeepSeek Coder 1.3B ≈ 1.3B Jan 2024 2.1 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
680 tok/s

408–1,088 · χαμηλή εμπιστοσύνη

DeepSeek-VL-1.3B ≈ 1.3B Mar 2024 2.1 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
680 tok/s

408–1,088 · χαμηλή εμπιστοσύνη

DigiRL ≈ 1.3B Jun 2024 2.1 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
680 tok/s

408–1,088 · χαμηλή εμπιστοσύνη

GLA Transformer 1.3B ≈ 1.3B Aug 2024 2.1 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
680 tok/s

408–1,088 · χαμηλή εμπιστοσύνη

Janus 1.3B ≈ 1.3B Oct 2024 2.1 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
680 tok/s

408–1,088 · χαμηλή εμπιστοσύνη

Kosmos-2.5 ≈ 1.3B Aug 2024 2.1 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο
680 tok/s

408–1,088 · χαμηλή εμπιστοσύνη

Otter ≈ 1.3B May 2023 2.1 GB 131k μουσικά κομμάτια ? Q8_0 Άνετο

Οι ταχύτητες είναι εκτιμήσεις για ένα μόνο αίτημα — μία συνομιλία τη φορά — υπολογισμένες από την μνήμη, το μέγεθος του μοντέλου και την ποσοτικοποίηση. Η πραγματική διακύμανση έξοδου ποικίλλει με τον χρόνο εκτέλεσης συμπερασμάτων και την έκδοσή του. Οι αριθμοί που δημοσιεύονται από τους προμηθευτές υλικού μετρούν πολλές ταυτόχρονες αιτήσεις και είναι πολύ υψηλότεροι..

Σε καταγραφή

Data Center GPU Max Subsystem Πλήρης προδιαγραφή

Τα πάντα σε αρχείο για αυτήν την κάρτα, ταξινομημένα κατά πόσο σχετίζονται με τη λειτουργία ενός AI μοντέλου παρά σύμφωνα με το πώς θα το κατέγραφε ένα φύλλο προδιαγραφών. Η ΜΝΗΜΗ έρχεται πρώτη γιατί αποφασίζει το αποτέλεσμα; το υπόλοιπο είναι CONTEXT..

Μνήμη

Οι δύο προδιαγραφές που αποφασίζουν ποιο μοντέλο μπορεί να τρέξει αυτή η ΚΑΡΤΑ και με ποια ταχύτητα. Η ικανότητα καθορίζει ποια μοντέλα ταιριάζουν· το bandwidth καθορίζει πόσα tokens ανά δευτερόλεπτο παράγουν μόλις ταιριάξουν.

Μέγεθος μνήμης
128 GB
Μνήμη εύρους ζώνης
3,210 GB/s
Τύπος μνήμης
HBM2e
Πλάτος διαύλου μνήμης
8,192 bit
Ρολογιά μνήμης
1.57 GHz

Το τσιπ

Ποιος επεξεργαστής είναι πάνω στην πλακέτα και πώς κατασκευάστηκε. Ένα μικρότερο μέγεθος διαδικασίας γενικά σημαίνει περισσότερη απόδοση για την ίδια ισχύ.

Γραφικός επεξεργαστής
Ponte Vecchio
Αρχιτεκτονική
Generation 12.5
Γενιά
Data Center GPU(Ponte Vecchio)
Μέταλλο
Intel
Μέγεθος διαδικασίας
10 nm
Τρανζίστορ
100 billion
Πυκνότητα τρανζίστορ
78,100 K/mm²
Μέγεθος τσιπ
1,280 mm²
Απελευθερώθηκε
10 January 2023

Ταχύτητες ρολογιού

Πόσο γρήγορα λειτουργεί ο επεξεργαστής. Αξίζει πολύ λιγότερο εδώ από ό,τι σε ένα gaming benchmark: η δημιουργία κειμένου περιορίζεται από το MEMORY BANDWIDTH, έτσι μια υψηλότερη συχνότητα barely moves το αποτέλεσμα.

Βασική συχνότητα
900 MHz
Ωθήσει ρολογιού
1.6 GHz

Μονάδες Επεξεργασίας

Τι περιέχει το τσιπ. Αυτά οδηγούν την απόδοση γραφικών και έχουν σημασία κυρίως για την επεξεργασία μιας μακράς προτροπής αντί για την παραγωγή της απάντησης.

Μονάδες σκίασης
16,384
Μονάδες Χαρτογράφησης Υφής
1,024
Πυρήνες ακτίνων-ιχνηλασίας
128
L1 κρυφή μνήμη
64 KB
L2 κρυφή μνήμη
408 MB

Θεωρητική Απόδοση

Οι κορυφαίοι ρυθμοί αριθμητικών υπολογισμών που δημοσιεύθηκαν για την κάρτα. Αυτές είναι ανώτατα όρια που καμία πραγματική εργασία δεν φτάνει, και η παραγωγή κειμένου φτάνει μόνο σε ένα μικρό ποσοστό αυτών επειδή περιορίζεται από τη μνήμη αντί για την αριθμητική.

Μισή ακρίβεια (FP16)
52.4 TFLOPS
Μονή ακρίβεια (FP32)
52.4 TFLOPS
Διπλή ακρίβεια (FP64)
52.4 TFLOPS
Ρυθμός υφής
1,638 GTexel/s

Η πλακέτα

Τι απαιτείται για να εγκαταστήσετε φυσικά και να τροφοδοτήσετε την ΚΑΡΤΑ — οι πρακτικοί περιορισμοί που αποφασίζουν αν ταιριάζει στη μηχανή που ήδη έχετε.

Κατανάλωση ενέργειας (TDP)
2,400 W
Προτεινόμενη τροφοδοσία
2,800 W
Συνδέσεις ρεύματος
1x 16-pin
Διασύνδεση λεωφορείου
PCIe 5.0 x16
Πλάτος υποδοχής
Dual-slot
Διαστάσεις
267 mm

Υποστήριξη λογισμικού

Ποιες γραφικές και υπολογιστικές διεπαφές υποστηρίζει η κάρτα. Η δυνατότητα υπολογισμού CUDA είναι αυτή που επηρεάζει την εκτίμηση: κάτω από 7.0 δεν υπάρχουν πυρήνες tensor, και το σύγχρονο λογισμικό εκτίμησης επιστρέφει σε πιο αργούς κωδικούς.

DirectX
12.1
OpenGL
4.6
OpenCL
3.0
Μοντέλο Σκίασης
6.6

Καταχωρίσεις

Πού να αγοράσω ένα Data Center GPU Max Subsystem

Κανένας προμηθευτής δεν καταχωρεί αυτήν την κάρτα αυτή τη στιγμή. Οι καταχωρίσεις προέρχονται από προμηθευτές που τις δημοσιεύουν εδώ απευθείας. — περιηγηθείτε στον κατάλογο προμηθευτών να δεις ποιος πουλάει τι.

Τι σημαίνουν οι αριθμοί

Μνήμη: η προδιαγραφή που αποφασίζει τα πάντα

Μνήμη

128 GB

Εύρος ζώνης

3,210 GB/s

Μεγαλύτερο μοντέλο

Solar Open2 250B

Data Center GPU Max Subsystem κρατάει 128 GB του HBM2e. Αυτό το τοποθετεί στην κατηγορία υλικού που κρατά τα μεγαλύτερα OPEN WEIGHT μοντέλα χωρίς να τα διαχωρίζει σε μηχανές. Ένας χρόνος εκτέλεσης συμπερασμάτων μπορεί να φτάσει περίπου 115.2 GB.

Η μνημονική εύρος ζώνης φτάνει 3,210 GB/s πέρα από ένα λεωφορείο του 8,192 μπίτ. Αυτό είναι στην κορυφή όσων υπάρχουν. Δεδομένου ότι κάθε token σημαίνει την ανάγνωση ολόκληρου του μοντέλου από την VRAM μία φορά, μεταφράζεται σχεδόν άμεσα σε ταχύτητα παραγωγής — αυτή η κάρτα είναι αρκετά πλούσια σε bandwidth ώστε το μέγεθος του μοντέλου να σταματά να είναι ο περιοριστικός παράγοντας πολύ πριν το λεωφορείο.

Αυτό προέρχεται από ένα memory clock του 1.57 GHz. Διεύρυνση του λεωφορείου και αύξηση του ρολογιού είναι οι δύο μοχλοί που έχει ένας κατασκευαστής, γι' αυτό και μια κάρτα με αδιάφορους πυρήνες μπορεί ακόμα να παράγει γρήγορα.

Η πρακτική οροφή είναι Solar Open2 250B, 250.3B, συμπιεσμένο σε Q3_K_M και δημιουργώντας γύρω 52.9 tokens ανά δευτερόλεπτο

Το τσιπ και πώς κατασκευάστηκε

Data Center GPU Max Subsystem είναι κατασκευασμένο πάνω στον επεξεργαστή γραφικών Ponte Vecchio, χρησιμοποιώντας την αρχιτεκτονική Generation 12.5 από Intel, ως μέρος της γενιάς Data Center GPU(Ponte Vecchio).

Το τσιπ κατασκευάζεται από Intel, σε μια διαδικασία της 10 νμ, με ένα ζάρι που μετράει 1,280 mm², κρατώντας 100 billion Τρανζίστορ. Μια μικρότερη διαδικασία σημαίνει γενικά περισσότερη απόδοση για την ίδια ισχύ, αν και για τα γλωσσικά μοντέλα έχει πολύ λιγότερη σημασία από το υποσύστημα μνήμης.

Δημοσιεύτηκε το January 2023, χονδρικά 3.6784693878813 χρόνια πριν. Η υποστήριξη λογισμικού INFERENCE τείνει να ακολουθεί την υλικοτεχνική υποδομή κατά ένα ή δύο χρόνια, οπότε μια κάρτα αυτής της ηλικίας γενικά διαθέτει ώριμους, καλά βελτιστοποιημένους κώδικες που της είναι διαθέσιμοι.

Διαδικασία υπολογισμού, και γιατί έχει λιγότερη σημασία απ' ότι φαίνεται

FP16

52.4 TFLOPS

FP64

52.4 TFLOPS

Στο χαρτί Data Center GPU Max Subsystem φθάνει 52.4 TFLOPS σε μισή ακρίβεια, και 52.4 TFLOPS σε απλή ακρίβεια. Αυτά είναι κορυφαία νούμερα που κανένα πραγματικό φορτίο δεν υποστηρίζει, και η γενετική κειμένων φτάνει μόνο σε ένα μικρό ποσοστό τους - η αποκωδικοποίηση περιορίζεται από τη μνήμη παρά από την αριθμητική, γι' αυτό μια κάρτα μπορεί να φαίνεται εξαιρετικά ισχυρή εδώ και να παράγει ακόμα μικρές μονάδες με έναν κανονικό ρυθμό.

Η διάβαση διπλής ακρίβειας φθάνει 52.4 TFLOPS. Δεν έχει καμία σχέση με την εκτέλεση ενός γλωσσικού ΜΟΝΤΕΛΟΥ — κανένας χρόνος εκτέλεσης συμπερασμού δεν το χρησιμοποιεί — αλλά χωρίζει τα μέρη των κέντρων δεδομένων από τα καταναλωτικά, καθώς τα τελευταία το περιορίζουν σκόπιμα.

Οι ρολόγια τρέχουν από μια βάση του 900 MHz σε μια αύξησηของ 1.6 GHz. Αξίζει πολύ λιγότερο εδώ από ό,τι σε ένα gaming benchmark: η αύξηση των ρολογιών επιταχύνει την αριθμητική, και η αριθμητική δεν είναι αυτό που περιμένει η γενιά.

Κρυφή μνήμη και μονάδες επεξεργασίας

Data Center GPU Max Subsystem έχει L1 cache της 64 KB, υποστηριζόμενο από μια L2 cache του 408 MB. Η Cache απορροφά ένα μερίδιο της κίνησης μνήμης που αλλιώς θα έπληττε το κύριο λεωφορείο, το οποίο είναι το μόνο μέρος σε αυτή τη σελίδα όπου ένας αριθμός διαφορετικός από τη bandwidth επηρεάζει ήσυχα την ταχύτητα δημιουργίας - μια μεγάλη L2 επιτρέπει περισσότερα από το working set να παραμένουν κοντά στους πυρήνες.

Υπάρχουν 16,384 Μονάδες σκίασης, 1,024 Μονάδες Χαρτογράφησης Υφής. Αυτά οδηγούν τα γραφικά φορτία εργασίας και συμβάλλουν στην επεξεργασία εντολών, αλλά παραμένουν ανενεργά για μεγάλο μέρος του χρόνου που χρειάζεται ένα μοντέλο για να παράγει μια απάντηση.

Ικανότητα, μέγεθος και εγκατάσταση

Κατανάλωση ενέργειας

2,400 W

Data Center GPU Max Subsystem βαθμολογείται σε 2,400 W, και η προτεινόμενη τροφοδοσία συστήματος είναι 2,800 W. Η εκτέλεση ενός γλωσσικού μοντέλου κρατά μια κάρτα απασχολημένη σε εκρήξεις παρά συνεχώς — απορροφά έντονα κατά τη διαδικασία παραγωγής και αδρανεί μεταξύ των αιτημάτων — έτσι η διαρκής κατανάλωση κατά τη διάρκεια μιας εργάσιμης ημέρας είναι συνήθως πολύ κάτω από την αναγραφόμενη τιμή.

Η κάρτα καταλαμβάνει dual-slot, μετρήσεις 267 μμ μήκους, και χρειάζεται 1x 16-pin. Αξίζει να ελεγχθεί σε σχέση με την περίπτωση και την τροφοδοσία που είναι ήδη στη μηχανή, καθώς οι μεγαλύτερες κάρτες χρειάζονται σημαντικά περισσότερα και από τα δύο σε σύγκριση με ό,τι παρέχει ένα τυπικό επιτραπέζιο.

Συνδέεται μέσω PCIe 5.0 x16. Η διεπαφή ρυθμίζει πόσο γρήγορα ένα μοντέλο φορτώνεται από το δίσκο στην κάρτα, όχι πόσο γρήγορα εκτελείται μόλις εκεί, έτσι μια στενότερη σύνδεση κοστίζει μερικά δευτερόλεπτα στην εκκίνηση και τίποτα μετά από αυτό.

Οι ακραίοι

Οι μεγαλύτεροι AI μοντέλα που τρέχουν σε μια Data Center GPU Max Subsystem

Τα μεγαλύτερα OPEN WEIGHT μοντέλα που ταιριάζουν σε αυτή την CARD, τα νεότερα πρώτα. Κάθε ένα εμφανίζεται με την καλύτερη συμπίεση που μπορεί να κρατήσει η CARD..

  1. 01 Solar Open2 250B 250.3B · Q3_K_M · Jun 2026 52.9 tok/s
  2. 02 MiniMax-M2.7 229B · Q3_K_M · Mar 2026 10.4 tok/s
  3. 03 MiniMax-M2.5 229B · Q3_K_M · Feb 2026 10.4 tok/s
  4. 04 MiniMax-M2.1 229B · Q3_K_M · Dec 2025 10.4 tok/s
  5. 05 P1-235B-A22B 235B · Q3_K_M · Nov 2025 56.4 tok/s
  6. 06 Qwen3-235B-A22B-Thinking (Jul 2025) 235B · Q3_K_M · Jul 2025 56.4 tok/s
  7. 07 Qwen3-235B-A22B (Jul 2025) 235B · Q3_K_M · Jul 2025 56.4 tok/s
  8. 08 Qwen3-235B-A22B 235B · IQ4_XS · Apr 2025 51.3 tok/s
  9. 09 DeepSeek-V2.5 236B · Q3_K_M · Sep 2024 56.1 tok/s
  10. 10 DeepSeek-V2 (MoE-236B) 236B · Q3_K_M · May 2024 56.1 tok/s

Οι ταχύτεροι AI μοντέλα σε μια Data Center GPU Max Subsystem

Όπου αυτή η ΚΑΡΤΑ παράγει τούβλα γρηγορότερα. Μικρότερα μοντέλα κυριαρχούν εδώ, επειδή η παραγωγή κάθε τούβλου σημαίνει να διαβάζουμε ολόκληρο το μοντέλο από τη μνήμη μία φορά..

  1. 01 Gemma 3 QAT 1B 1B · Q8_0 · 1.8 GB 884 tok/s
  2. 02 Gemma 3 1B 1B · Q8_0 · 1.8 GB 884 tok/s
  3. 03 LLama 3..2 Typhoon 2 1B 1B · Q8_0 · 1.8 GB 884 tok/s
  4. 04 OLMo-1B 1B · Q8_0 · 1.8 GB 884 tok/s
  5. 05 HGRN 1B (WT 103) 1B · Q8_0 · 1.8 GB 884 tok/s
  6. 06 Pythia-1b 1B · Q8_0 · 1.8 GB 884 tok/s
  7. 07 OpenELM-1.1B 1.1B · Q8_0 · 1.9 GB 818 tok/s
  8. 08 TinyLlama-1.1B (1T token checkpoint) 1.1B · Q8_0 · 1.9 GB 803 tok/s
  9. 09 TinyLlama-1.1B (3T token checkpoint) 1.1B · Q8_0 · 1.9 GB 803 tok/s
  10. 10 DeciCoder-1B 1.1B · Q8_0 · 1.9 GB 803 tok/s

Βήμα προς βήμα

Πώς να υπολογίσετε τους TOKENS ανά ΔΕΥΤΕΡΟΛΕΠΤΟ ενός Data Center GPU Max Subsystem

Δεν χρειάζεται να υπολογίσετε τίποτα με το χέρι — ο υπολογιστής gputps.com σε αυτή τη σελίδα έχει ήδη υπολογίσει για κάθε μοντέλο που μπορεί να κρατήσει αυτή η κάρτα. Η ανάγνωση της απάντησης απαιτεί έξι βήματα..

  1. 01

    Αναζητήστε το μοντέλο που θέλετε

    Ο πίνακας απαριθμεί 658 μοντέλα που αυτή η κάρτα μπορεί να τρέξει. Αναζητήστε με όνομα, ή με μέγεθος — η πληκτρολόγηση 27b ταιριάζει στον αριθμό παραμέτρων ακόμα κι αν το όνομα δεν το αναφέρει ποτέ.

  2. 02

    Εναρμονίστε το πλαίσιο με τη δουλειά σας

    Οι μεγαλύτερες συζητήσεις κοστίζουν VRAM πάνω από τα βάρη. Εναντίον 128 GB συνήθως είναι αυτό που σπρώχνει ένα μεγάλο μοντέλο πάνω από την άκρη.

  3. 03

    Επιλέξτε πόσο μακριά θα συμπιέσετε

    Από προεπιλογή, ο πίνακας επιλέγει την λιγότερο συμπιεσμένη αντιγραφή που χωράει. Η ρύθμιση ενός κατωφλιού αφαιρεί τα μοντέλα που πληρούν προϋποθέσεις μόνο μέσω βαριάς συμπίεσης.

  4. 04

    Πάρτε την εύρος ως απόκριση

    Οι ταχύτητες συνοδεύονται από γραμμές σφάλματος για κάποιον λόγο. Η καλύτερη περίπτωση εδώ είναι 884 τόκ/σ σε Gemma 3 QAT 1B. Η ίδια κάρτα και μοντέλο διαφέρει κατά τριάντα έως πενήντα τοις εκατό μεταξύ των χρόνων εκτέλεσης συμπερασμάτων.

  5. 05

    Έλέγξτε τον χώρο πριν αποφασίσετε

    Σφιχτό σημαίνει ότι λειτουργεί σήμερα; Άνετο σημαίνει ότι λειτουργεί ακόμα όταν η συνομιλία μεγαλώνει. Συγκρίνετε τις ανάγκες κάθε μοντέλου με βάση το διαθέσιμο. 128 GB.

  6. 06

    Έλεγξε το ίδιο μοντέλο από την άλλη πλευρά

    Ακολουθώντας ένα μοντέλο μέχρι τη δική του σελίδα, καταγράφει όλα τα υλικά που μπορούν να το εκτελέσουν, ώστε να μπορείτε να δείτε πώς συγκρίνεται με Data Center GPU Max Subsystem.

Απαντήσεις

Data Center GPU Max Subsystem — κοινές ερωτήσεις

01

Data Center GPU Max Subsystem— ποιοι είναι οι TFLOPS του;

Αξιολογείται σε 52.4 TFLOPS σε μισή ακρίβεια και 52.4 TFLOPS σε μονή ακρίβεια. Αυτά είναι αιχμές αριθμητικών ανώτατων ορίων αντί για επιτεύξιμες τιμές, και η παραγωγή κειμένου φτάνει μόνο ένα μικρό κλάσμα αυτών επειδή περιορίζεται από την μπαλαντέρ μνήμης αντί.

02

Data Center GPU Max Subsystem— υποστηρίζει CUDA;

Όχι. Η CUDA είναι αποκλειστική για την NVIDIA και αυτή είναι μια κάρτα από Intel. Εκτελεί τα μοντέλα γλώσσας μέσω ROCm, Vulkan ή Metal ανάλογα με το λογισμικό, τα οποία είναι λιγότερο ώριμα από την πορεία CUDA — οι εκτιμήσεις μας επιβάλλουν ποινή γι' αυτό.

03

Data Center GPU Max Subsystem— ποια είναι η διεπαφή bus που χρησιμοποιεί;

Χρησιμοποιεί PCIe 5.0 x16. Αυτό διέπει πόσο γρήγορα φορτώνεται ένα μοντέλο στην κάρτα αντί για το πόσο γρήγορα τρέχει μόλις φορτωθεί, οπότε κοστίζει μερικά δευτερόλεπτα κατά την εκκίνηση και τίποτα κατά τη διάρκεια της γεννήσεως.

04

Data Center GPU Max Subsystem— είναι καλό για να τρέξετε τοπικά AI μοντέλα;

Η μνήμη του είναι αρκετά μεγάλη για μοντέλα που οι περισσότεροι επιτραπέζιοι υπολογιστές δεν μπορούν να αγγίξουν και το εύρος ζώνης του το τοποθετεί ανάμεσα στα γρηγορότερα υλικά που είναι διαθέσιμα για παραγωγή. Συνολικά τρέχει 658 των μοντέλων που παρακολουθούμε. Εάν αυτό είναι αρκετό εξαρτάται αποκλειστικά από το ποιο μοντέλο θέλετε — ο παραπάνω πίνακας απαντά σε αυτό απευθείας.

05

Data Center GPU Max Subsystem— μπορεί να τρέξει ένα μοντέλο που δεν χωράει στη μνήμη του;

Φορτίο πέρα από την κάρτα 128 GB είναι πιθανό και συνήθως μια ψευδής οικονομία: το ποσοστό μνήμης-συστήματος είναι αρκετά αργό ώστε να κυριαρχεί στο αποτέλεσμα.

06

Θα μπορούσαν δύο Data Center GPU Max Subsystem οι κάρτες θα είναι δύο φορές πιο γρήγορες;

Η ζεύγωση τους αγοράζει περιθώριο αντί για ταχύτητα: 256 GB συνδυασμένης μνήμης, με περίπου την ίδια ταχύτητα γενιάς όπως μία.

07

Data Center GPU Max Subsystem— ποια AI μοντέλα μπορεί να εκτελέσει;

658 του 721 Οι ανοιχτού τύπου γλωσσικοί μοντέλοι που παρακολουθούμε ταιριάζουν σε αυτή την κάρτα και μπορούν να εκτελούνται τοπικά. Ο πίνακας σε αυτή τη σελίδα απαριθμεί τον καθένα, με τη μνήμη που χρειάζεται, την ποσοτικοποίηση στην οποία εκτελείται και μια εκτιμώμενη ταχύτητα παραγωγής.

08

Data Center GPU Max Subsystem— ποιο είναι το μεγαλύτερο AI μοντέλο που μπορεί να τρέξει;

Το μεγαλύτερο μοντέλο στον κατάλογό μας που χωράει είναι Solar Open2 250B σε 250.3B παραμέτρους, συμπιεσμένο σε Q3_K_M. Παράγει περίπου 52.9 δεσμεύσεις ανά δευτερόλεπτο και χρειάζονται περίπου 106.6 GB της μνήμης της κάρτας.

09

Data Center GPU Max Subsystem— πόσοι τόκεν ανά δευτερόλεπτο παράγει;

Εξαρτάται από το ΜΟΝΤΕΛΟ. Το πιο γρήγορο ΜΟΝΤΕΛΟ που παρακολουθούμε εδώ είναι Gemma 3 QAT 1B γύρω από 884 διακυμάνσεις ανά δευτερόλεπτο, ενώ μεγαλύτερα μοντέλα τρέχουν αναλογικά πιο αργά επειδή κάθε διακυμάνση απαιτεί την ανάγνωση ολόκληρου του μοντέλου από τη μνήμη μία φορά. Οι ταχύτητες είναι εκτιμήσεις για μία μόνο συνομιλία τη φορά.

10

Data Center GPU Max Subsystem— μπορεί να τρέξει 7B μοντέλα;

Ναι. Για παράδειγμα τρέχει. Gemma 4 E4B σε Q8_0, χρησιμοποιώντας περίπου 9.8 GB μνήμης και δημιουργία γύρω από 196 tokens ανά δευτερόλεπτο

11

Data Center GPU Max Subsystem— μπορεί να τρέξει 13B μοντέλα;

Ναι. Για παράδειγμα τρέχει. DeepSeekMoE-16B σε Q8_0, χρησιμοποιώντας περίπου 17.5 GB μνήμης και δημιουργία γύρω από 307 tokens ανά δευτερόλεπτο

12

Data Center GPU Max Subsystem— μπορεί να τρέξει 30B μοντέλα;

Ναι. Για παράδειγμα τρέχει. ERNIE-4.5-VL-28B-A3B σε Q8_0, χρησιμοποιώντας περίπου 29.2 GB μνήμης και δημιουργία γύρω από 175 tokens ανά δευτερόλεπτο

13

Data Center GPU Max Subsystem— μπορεί να τρέξει 70B μοντέλα;

Ναι. Για παράδειγμα τρέχει. Qwen3-Coder-Next σε Q8_0, χρησιμοποιώντας περίπου 80.7 GB μνήμης και δημιουργία γύρω από 61.4 tokens ανά δευτερόλεπτο

14

Data Center GPU Max Subsystem— πόση μνήμη έχει;

Αυτή η GPU έχει 128 GB του HBM2e. Γύρω από το ένα δέκατο είναι δεσμευμένο από την εκτέλεση συμπερασμού και τον οδηγό, αφήνοντας περίπου 115.2 GB διαθέσιμο για ένα μοντέλο και τη συζήτησή του.

15

Data Center GPU Max Subsystem— ποια είναι η εύρος ζώνης μνήμης της;

Η μνημονική εύρος ζώνης φτάνει 3,210 GB/s πέρα από ένα λεωφορείο του 8,192 μπίτ. Αυτή είναι η μοναδική καλύτερη πρόβλεψη για το πόσο γρήγορα παράγει κείμενο, επειδή η παραγωγή κάθε token σημαίνει την ανάγνωση ολόκληρου του μοντέλου έξω από τη μνήμη μία φορά.

16

Data Center GPU Max Subsystem— ποιο τύπο μνήμης χρησιμοποιεί;

Χρησιμοποιεί HBM2e χρονισμένος σε 1.57 GHz. Οι τύποι HBM βρίσκονται σε επιταχυντές κέντρων δεδομένων και διαθέτουν πολύ περισσότερη εύρυθμη απόδοση από την GDDR που χρησιμοποιείται σε GPU καρτών επιτραπέζιου υπολογιστή, γι' αυτό και δημιουργούν tokens σημαντικά πιο γρήγορα με την ίδια χωρητικότητα.

17

Data Center GPU Max Subsystem— ποιος το κατασκευάζει;

Αυτό είναι ένα προϊόν του Intel, με το τσιπ που κατασκευάστηκε από Intel, σε μια διαδικασία της 10 νμ.

18

Data Center GPU Max Subsystem— πότε κυκλοφόρησε;

Δημοσιεύτηκε το January 2023.

19

Data Center GPU Max Subsystem— πόση ισχύς χρησιμοποιεί;

Η αξιολογούμενη ισχύς της κάρτας είναι 2,400 W, και η προτεινόμενη τροφοδοσία συστήματος είναι 2,800 W. Η δημιουργία κειμένου απαιτεί ένταση σε εκρήξεις και είναι σε κατάσταση αναμονής μεταξύ των αιτημάτων, οπότε η μέση κατανάλωση κατά τη διάρκεια μιας εργάσιμης συνεδρίας είναι κανονικά πολύ κάτω από την αξιολογούμενη τιμή.

20

Data Center GPU Max Subsystem— πόσο cache έχει;

Η μνήμη L1 είναι 64 KB, και η L2 cache είναι 408 MB. Η Cache απορροφά μέρος της μνήμης κυκλοφορίας που θα έφτανε αλλιώς στον κύριο διαδικτυακό κόμβο, έτσι μια μεγαλύτερη L2 δίνει μια μέτρια αύξηση στην ταχύτητα γενετικά πέρα από αυτό που προ predicts η μόνο πλά bandwidth.

Η άλλη κατεύθυνση

Κοιτάζοντας το από την άλλη πλευρά;

Αυτή η σελίδα ξεκινά από το υλικό. Αν ήδη ξέρετε ποιο ΜΟΝΤΕΛ θέλετε και χρειάζεστε να ξέρετε τι απαιτείται για να το ΤΡΕΞΕΤΕ., Αρχίστε από το ΜΟΝΤΕΛΟ..

Όλες οι GPUs