Υπολογίστε την TPS του A800 PCIe 40 GB σε τοπικά AI μοντέλα

NVIDIA 40 GB HBM2e 1,560 GB/s November 2022

Κάθε μοντέλο στον κατάλογό μας αξιολογήθηκε σε σχέση με αυτή την ΚΑΡΤΑ στη διάρκεια του CONTEXT LENGTH και της ελάχιστης ποιότητας που επιλέγετε. Η ταχύτητα είναι μια εκτίμηση για ένα μόνο αίτημα, υπολογισμένη από το MEMORY BANDWIDTH αυτής της ΚΑΡΤΑΣ και το μέγεθος κάθε μοντέλου μόλις συμπιεστεί..

Υπολογίστηκε για αυτήν την κάρτα

604 μοντέλα που μπορεί να εκτελέσει

721 μοντέλα στον κατάλογό μας συνολικά

Το μεγαλύτερο μοντέλο που κρατάει

Qwen3-Coder-Next

80B · Q3_K_M · 124 tok/s

Ταχύτερο μοντέλο

Gemma 3 QAT 1B

661 tok/s · 1B

Ποια AI μοντέλα μπορούν να τρέξουν σε μια A800 PCIe 40 GB?

Ορίστε τις εισόδους, διαβάστε την απάντηση

Μήκος συμφραζομένων μουσικά κομμάτια

Περισσότερα συμφραζόμενα σημαίνει περισσότερη μνήμη για την κρυφή μνήμη της συνομιλίας. Η ταχύτητα είναι για μια νέα συνομιλία και δεν αλλάζει με αυτή τη ρύθμιση..

Ελάχιστη ποιότητα

Κρύβει μοντέλα που θα χωρούσαν μόνο αν συμπιεστούν κάτω από αυτό το σημείο.

Αναζήτηση μοντέλων

Μέγεθος μοντέλου

Απελευθερώθηκε

Επίσης δείξτε μοντέλα που δεν μπορεί να τρέξει

604 τα μοντέλα ταιριάζουν

Υπολογισμός

						Ποσοτικοποίηση	Καλά
661 tok/s 562–793	Gemma 3 1B	1B	Mar 2025	1.8 GB	33k μουσικά κομμάτια	Q8_0	Άνετο
661 tok/s 562–793	Gemma 3 QAT 1B	1B	Apr 2025	1.8 GB	33k μουσικά κομμάτια	Q8_0	Άνετο
661 tok/s 396–1,057 · χαμηλή εμπιστοσύνη	HGRN 1B (WT 103) ≈	1B	Nov 2023	1.8 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
661 tok/s 396–1,057 · χαμηλή εμπιστοσύνη	LLama 3..2 Typhoon 2 1B ≈	1B	Dec 2024	1.8 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
661 tok/s 396–1,057 · χαμηλή εμπιστοσύνη	OLMo-1B ≈	1B	Feb 2024	1.8 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
661 tok/s 396–1,057 · χαμηλή εμπιστοσύνη	Pythia-1b ≈	1B	Apr 2023	1.8 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
612 tok/s 367–979 · χαμηλή εμπιστοσύνη	OpenELM-1.1B ≈	1.1B	May 2024	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
601 tok/s 360–961 · χαμηλή εμπιστοσύνη	DeciCoder-1B ≈	1.1B	Aug 2023	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
601 tok/s 360–961 · χαμηλή εμπιστοσύνη	SantaCoder ≈	1.1B	Jan 2023	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
601 tok/s 360–961 · χαμηλή εμπιστοσύνη	TinyLlama-1.1B (1T token checkpoint) ≈	1.1B	Oct 2023	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
601 tok/s 360–961 · χαμηλή εμπιστοσύνη	TinyLlama-1.1B (3T token checkpoint) ≈	1.1B	Oct 2023	1.9 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
551 tok/s 330–881 · χαμηλή εμπιστοσύνη	EXAONE 4.0 (1.2B) ≈	1.2B	Jul 2025	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
551 tok/s 330–881 · χαμηλή εμπιστοσύνη	LFM2-1.2B ≈	1.2B	Jul 2025	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
551 tok/s 330–881 · χαμηλή εμπιστοσύνη	MinerU2.5 ≈	1.2B	Sep 2025	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
551 tok/s 330–881 · χαμηλή εμπιστοσύνη	Pleias 1.0 1.2B ≈	1.2B	Dec 2024	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
551 tok/s 330–881 · χαμηλή εμπιστοσύνη	Pleias-RAG-1B ≈	1.2B	Apr 2025	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
537 tok/s 457–645	Llama 3.2 1B	1.2B	Sep 2024	2.2 GB	131k μουσικά κομμάτια	Q8_0	Άνετο
530 tok/s 318–847 · χαμηλή εμπιστοσύνη	MiniCPM-1.2B ≈	1.2B	Jun 2024	2.0 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
508 tok/s 305–813 · χαμηλή εμπιστοσύνη	DeepSeek Coder 1.3B ≈	1.3B	Jan 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
508 tok/s 305–813 · χαμηλή εμπιστοσύνη	DeepSeek-VL-1.3B ≈	1.3B	Mar 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
508 tok/s 305–813 · χαμηλή εμπιστοσύνη	DigiRL ≈	1.3B	Jun 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
508 tok/s 305–813 · χαμηλή εμπιστοσύνη	GLA Transformer 1.3B ≈	1.3B	Aug 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
508 tok/s 305–813 · χαμηλή εμπιστοσύνη	Janus 1.3B ≈	1.3B	Oct 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
508 tok/s 305–813 · χαμηλή εμπιστοσύνη	Kosmos-2.5 ≈	1.3B	Aug 2024	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο
508 tok/s 305–813 · χαμηλή εμπιστοσύνη	Otter ≈	1.3B	May 2023	2.1 GB	131k μουσικά κομμάτια ?	Q8_0	Άνετο

Οι ταχύτητες είναι εκτιμήσεις για ένα μόνο αίτημα — μία συνομιλία τη φορά — υπολογισμένες από την μνήμη, το μέγεθος του μοντέλου και την ποσοτικοποίηση. Η πραγματική διακύμανση έξοδου ποικίλλει με τον χρόνο εκτέλεσης συμπερασμάτων και την έκδοσή του. Οι αριθμοί που δημοσιεύονται από τους προμηθευτές υλικού μετρούν πολλές ταυτόχρονες αιτήσεις και είναι πολύ υψηλότεροι..

Σε καταγραφή

A800 PCIe 40 GB Πλήρης προδιαγραφή

Τα πάντα σε αρχείο για αυτήν την κάρτα, ταξινομημένα κατά πόσο σχετίζονται με τη λειτουργία ενός AI μοντέλου παρά σύμφωνα με το πώς θα το κατέγραφε ένα φύλλο προδιαγραφών. Η ΜΝΗΜΗ έρχεται πρώτη γιατί αποφασίζει το αποτέλεσμα; το υπόλοιπο είναι CONTEXT..

Μνήμη

Οι δύο προδιαγραφές που αποφασίζουν ποιο μοντέλο μπορεί να τρέξει αυτή η ΚΑΡΤΑ και με ποια ταχύτητα. Η ικανότητα καθορίζει ποια μοντέλα ταιριάζουν· το bandwidth καθορίζει πόσα tokens ανά δευτερόλεπτο παράγουν μόλις ταιριάξουν.

Μέγεθος μνήμης: 40 GB
Μνήμη εύρους ζώνης: 1,560 GB/s
Τύπος μνήμης: HBM2e
Πλάτος διαύλου μνήμης: 5,120 bit
Ρολογιά μνήμης: 1.22 GHz

Το τσιπ

Ποιος επεξεργαστής είναι πάνω στην πλακέτα και πώς κατασκευάστηκε. Ένα μικρότερο μέγεθος διαδικασίας γενικά σημαίνει περισσότερη απόδοση για την ίδια ισχύ.

Γραφικός επεξεργαστής: GA100
Αρχιτεκτονική: Ampere
Γενιά: Server Ampere(Axx)
Μέταλλο: TSMC
Μέγεθος διαδικασίας: 7 nm
Τρανζίστορ: 54.2 billion
Πυκνότητα τρανζίστορ: 65,600 K/mm²
Μέγεθος τσιπ: 826 mm²
Πακέτο: BGA-2743
Απελευθερώθηκε: 8 November 2022

Ταχύτητες ρολογιού

Πόσο γρήγορα λειτουργεί ο επεξεργαστής. Αξίζει πολύ λιγότερο εδώ από ό,τι σε ένα gaming benchmark: η δημιουργία κειμένου περιορίζεται από το MEMORY BANDWIDTH, έτσι μια υψηλότερη συχνότητα barely moves το αποτέλεσμα.

Βασική συχνότητα: 765 MHz
Ωθήσει ρολογιού: 1.41 GHz

Μονάδες Επεξεργασίας

Τι περιέχει το τσιπ. Αυτά οδηγούν την απόδοση γραφικών και έχουν σημασία κυρίως για την επεξεργασία μιας μακράς προτροπής αντί για την παραγωγή της απάντησης.

Μονάδες σκίασης: 6,912
Μονάδες Χαρτογράφησης Υφής: 432
Μονάδες εξόδου απόδοσης: 160
Ροή πολλών επεξεργαστών: 108
Πυρήνες Tensor: 432
L1 κρυφή μνήμη: 192 KB
L2 κρυφή μνήμη: 40 MB

Θεωρητική Απόδοση

Οι κορυφαίοι ρυθμοί αριθμητικών υπολογισμών που δημοσιεύθηκαν για την κάρτα. Αυτές είναι ανώτατα όρια που καμία πραγματική εργασία δεν φτάνει, και η παραγωγή κειμένου φτάνει μόνο σε ένα μικρό ποσοστό αυτών επειδή περιορίζεται από τη μνήμη αντί για την αριθμητική.

Μισή ακρίβεια (FP16): 78 TFLOPS
Μονή ακρίβεια (FP32): 19.5 TFLOPS
Διπλή ακρίβεια (FP64): 9.7 TFLOPS
Ρυθμός εικονοστοιχείων: 226 GPixel/s
Ρυθμός υφής: 609 GTexel/s

Η πλακέτα

Τι απαιτείται για να εγκαταστήσετε φυσικά και να τροφοδοτήσετε την ΚΑΡΤΑ — οι πρακτικοί περιορισμοί που αποφασίζουν αν ταιριάζει στη μηχανή που ήδη έχετε.

Κατανάλωση ενέργειας (TDP): 250 W
Προτεινόμενη τροφοδοσία: 600 W
Συνδέσεις ρεύματος: 8-pin EPS
Διασύνδεση λεωφορείου: PCIe 4.0 x16
Πλάτος υποδοχής: Dual-slot
Διαστάσεις: 267 mm

Υποστήριξη λογισμικού

Ποιες γραφικές και υπολογιστικές διεπαφές υποστηρίζει η κάρτα. Η δυνατότητα υπολογισμού CUDA είναι αυτή που επηρεάζει την εκτίμηση: κάτω από 7.0 δεν υπάρχουν πυρήνες tensor, και το σύγχρονο λογισμικό εκτίμησης επιστρέφει σε πιο αργούς κωδικούς.

ικανότητα υπολογισμού CUDA: 8.0
OpenCL: 3.0

Καταχωρίσεις

Πού να αγοράσω ένα A800 PCIe 40 GB

Κανένας προμηθευτής δεν καταχωρεί αυτήν την κάρτα αυτή τη στιγμή. Οι καταχωρίσεις προέρχονται από προμηθευτές που τις δημοσιεύουν εδώ απευθείας. — περιηγηθείτε στον κατάλογο προμηθευτών να δεις ποιος πουλάει τι.

Τι σημαίνουν οι αριθμοί

Μνήμη: η προδιαγραφή που αποφασίζει τα πάντα

Μνήμη

40 GB

Εύρος ζώνης

1,560 GB/s

Μεγαλύτερο μοντέλο

Qwen3-Coder-Next

A800 PCIe 40 GB φερεί 40 GB του HBM2e. Αυτό καλύπτει τα μεσαίου μεγέθους μοντέλα που τρέχουν οι περισσότεροι άνθρωποι. Μόλις ο χρόνος εκτέλεσης και ο οδηγός κρατήσουν τον χώρο εργασίας τους, περίπου αυτό το ποσό μένει: 36 GB.

Η μνημονική εύρος ζώνης φτάνει 1,560 GB/s πέρα από ένα λεωφορείο του 5,120 μπίτ. Η δημιουργία ενός τοκέτα σημαίνει την ανάγνωση κάθε βάρους μία φορά, έτσι ώστε αυτός ο αριθμός να καθορίζει τον ρυθμό περισσότερο από οποιονδήποτε άλλο αριθμό εδώ, και σε αυτό το επίπεδο το κείμενο φτάνει γρηγορότερα από ότι διαβάζουν οι περισσότεροι άνθρωποι.

Η τιμή είναι το πλάτος του λεωφορείου πολλαπλασιασμένο με μια ροή μνήμης του 1.22 GHz. Και οι δύο μισοί είναι σημαντικοί, και κανένας δεν είναι ορατός σε μία αναφορά παιχνιδιών.

Το μεγαλύτερο πράγμα που κρατάει είναι Qwen3-Coder-Next, 80B, συμπιεσμένο σε Q3_K_M και δημιουργώντας γύρω 124 tokens ανά δευτερόλεπτο

Το τσιπ και πώς κατασκευάστηκε

A800 PCIe 40 GB είναι κατασκευασμένο πάνω στον επεξεργαστή γραφικών GA100, χρησιμοποιώντας την αρχιτεκτονική Ampere από NVIDIA, ως μέρος της γενιάς Server Ampere(Axx).

Το τσιπ κατασκευάζεται από TSMC, σε μια διαδικασία της 7 νμ, με ένα ζάρι που μετράει 826 mm², κρατώντας 54.2 billion Τρανζίστορ. Μια μικρότερη διαδικασία σημαίνει γενικά περισσότερη απόδοση για την ίδια ισχύ, αν και για τα γλωσσικά μοντέλα έχει πολύ λιγότερη σημασία από το υποσύστημα μνήμης.

Δημοσιεύτηκε το November 2022, χονδρικά 3.8484679248498 χρόνια πριν. Η υποστήριξη λογισμικού INFERENCE τείνει να ακολουθεί την υλικοτεχνική υποδομή κατά ένα ή δύο χρόνια, οπότε μια κάρτα αυτής της ηλικίας γενικά διαθέτει ώριμους, καλά βελτιστοποιημένους κώδικες που της είναι διαθέσιμοι.

Διαδικασία υπολογισμού, και γιατί έχει λιγότερη σημασία απ' ότι φαίνεται

FP16

78 TFLOPS

FP64

9.7 TFLOPS

Πυρήνες Tensor

432

Στο χαρτί A800 PCIe 40 GB φθάνει 78 TFLOPS σε μισή ακρίβεια, και 19.5 TFLOPS σε απλή ακρίβεια. Αυτά είναι κορυφαία νούμερα που κανένα πραγματικό φορτίο δεν υποστηρίζει, και η γενετική κειμένων φτάνει μόνο σε ένα μικρό ποσοστό τους - η αποκωδικοποίηση περιορίζεται από τη μνήμη παρά από την αριθμητική, γι' αυτό μια κάρτα μπορεί να φαίνεται εξαιρετικά ισχυρή εδώ και να παράγει ακόμα μικρές μονάδες με έναν κανονικό ρυθμό.

Η διάβαση διπλής ακρίβειας φθάνει 9.7 TFLOPS. Δεν έχει καμία σχέση με την εκτέλεση ενός γλωσσικού ΜΟΝΤΕΛΟΥ — κανένας χρόνος εκτέλεσης συμπερασμού δεν το χρησιμοποιεί — αλλά χωρίζει τα μέρη των κέντρων δεδομένων από τα καταναλωτικά, καθώς τα τελευταία το περιορίζουν σκόπιμα.

Η ΚΑΡΤΑ φέρει 432 Πυρήνες Tensor διάσπαρτα 108 Ροή πολλών επεξεργαστών. Αυτά επιταχύνουν τη μητρική αριθμητική που είναι στην καρδιά ενός μετασχηματιστή, και είναι αυτά που κάνουν την επεξεργασία προτροπών — διαβάζοντας ένα μεγάλο έγγραφο πριν απαντήσουν — δραματικά ταχύτερη από ό,τι θα ήταν διαφορετικά.

Οι ρολόγια τρέχουν από μια βάση του 765 MHz σε μια αύξησηของ 1.41 GHz. Αξίζει πολύ λιγότερο εδώ από ό,τι σε ένα gaming benchmark: η αύξηση των ρολογιών επιταχύνει την αριθμητική, και η αριθμητική δεν είναι αυτό που περιμένει η γενιά.

Κρυφή μνήμη και μονάδες επεξεργασίας

A800 PCIe 40 GB έχει L1 cache της 192 KB, υποστηριζόμενο από μια L2 cache του 40 MB. Η Cache απορροφά ένα μερίδιο της κίνησης μνήμης που αλλιώς θα έπληττε το κύριο λεωφορείο, το οποίο είναι το μόνο μέρος σε αυτή τη σελίδα όπου ένας αριθμός διαφορετικός από τη bandwidth επηρεάζει ήσυχα την ταχύτητα δημιουργίας - μια μεγάλη L2 επιτρέπει περισσότερα από το working set να παραμένουν κοντά στους πυρήνες.

Υπάρχουν 6,912 Μονάδες σκίασης, 432 Μονάδες Χαρτογράφησης Υφής, και 160 Μονάδες εξόδου απόδοσης. Αυτά οδηγούν τα γραφικά φορτία εργασίας και συμβάλλουν στην επεξεργασία εντολών, αλλά παραμένουν ανενεργά για μεγάλο μέρος του χρόνου που χρειάζεται ένα μοντέλο για να παράγει μια απάντηση.

Ικανότητα, μέγεθος και εγκατάσταση

Κατανάλωση ενέργειας

250 W

A800 PCIe 40 GB βαθμολογείται σε 250 W, και η προτεινόμενη τροφοδοσία συστήματος είναι 600 W. Η εκτέλεση ενός γλωσσικού μοντέλου κρατά μια κάρτα απασχολημένη σε εκρήξεις παρά συνεχώς — απορροφά έντονα κατά τη διαδικασία παραγωγής και αδρανεί μεταξύ των αιτημάτων — έτσι η διαρκής κατανάλωση κατά τη διάρκεια μιας εργάσιμης ημέρας είναι συνήθως πολύ κάτω από την αναγραφόμενη τιμή.

Η κάρτα καταλαμβάνει dual-slot, μετρήσεις 267 μμ μήκους, και χρειάζεται 8-pin EPS. Αξίζει να ελεγχθεί σε σχέση με την περίπτωση και την τροφοδοσία που είναι ήδη στη μηχανή, καθώς οι μεγαλύτερες κάρτες χρειάζονται σημαντικά περισσότερα και από τα δύο σε σύγκριση με ό,τι παρέχει ένα τυπικό επιτραπέζιο.

Συνδέεται μέσω PCIe 4.0 x16. Η διεπαφή ρυθμίζει πόσο γρήγορα ένα μοντέλο φορτώνεται από το δίσκο στην κάρτα, όχι πόσο γρήγορα εκτελείται μόλις εκεί, έτσι μια στενότερη σύνδεση κοστίζει μερικά δευτερόλεπτα στην εκκίνηση και τίποτα μετά από αυτό.

Οι ακραίοι

Οι μεγαλύτεροι AI μοντέλα που τρέχουν σε μια A800 PCIe 40 GB

Τα μεγαλύτερα OPEN WEIGHT μοντέλα που ταιριάζουν σε αυτή την CARD, τα νεότερα πρώτα. Κάθε ένα εμφανίζεται με την καλύτερη συμπίεση που μπορεί να κρατήσει η CARD..

01 Qwen3-Coder-Next 80B · Q3_K_M · Feb 2026 124 tok/s
02 Qwen3-Next-80B-A3B 80B · Q3_K_M · Sep 2025 124 tok/s
03 Kimi Dev 72b 72B · Q3_K_M · Jun 2025 24.8 tok/s
04 OpenThaiGPT 1.6 / OTG-1.6 (72B) 72B · Q3_K_M · Apr 2025 24.8 tok/s
05 Qwen2.5-VL-72B 72B · Q3_K_M · Feb 2025 24.8 tok/s
06 QVQ 72B · Q3_K_M · Dec 2024 24.8 tok/s
07 Athene-V2 72B · Q3_K_M · Nov 2024 24.8 tok/s
08 Qwen2.5-72B 72.7B · Q3_K_M · Sep 2024 24.5 tok/s
09 Qwen2.5 Instruct (72B) 72.7B · Q3_K_M · Sep 2024 24.5 tok/s
10 Qwen2-72B 72.7B · Q3_K_M · Jun 2024 24.5 tok/s

Οι ταχύτεροι AI μοντέλα σε μια A800 PCIe 40 GB

Όπου αυτή η ΚΑΡΤΑ παράγει τούβλα γρηγορότερα. Μικρότερα μοντέλα κυριαρχούν εδώ, επειδή η παραγωγή κάθε τούβλου σημαίνει να διαβάζουμε ολόκληρο το μοντέλο από τη μνήμη μία φορά..

01 Gemma 3 QAT 1B 1B · Q8_0 · 1.8 GB 661 tok/s
02 Gemma 3 1B 1B · Q8_0 · 1.8 GB 661 tok/s
03 LLama 3..2 Typhoon 2 1B 1B · Q8_0 · 1.8 GB 661 tok/s
04 OLMo-1B 1B · Q8_0 · 1.8 GB 661 tok/s
05 HGRN 1B (WT 103) 1B · Q8_0 · 1.8 GB 661 tok/s
06 Pythia-1b 1B · Q8_0 · 1.8 GB 661 tok/s
07 OpenELM-1.1B 1.1B · Q8_0 · 1.9 GB 612 tok/s
08 TinyLlama-1.1B (1T token checkpoint) 1.1B · Q8_0 · 1.9 GB 601 tok/s
09 TinyLlama-1.1B (3T token checkpoint) 1.1B · Q8_0 · 1.9 GB 601 tok/s
10 DeciCoder-1B 1.1B · Q8_0 · 1.9 GB 601 tok/s

Βήμα προς βήμα

Πώς να υπολογίσετε τους TOKENS ανά ΔΕΥΤΕΡΟΛΕΠΤΟ ενός A800 PCIe 40 GB

Δεν χρειάζεται να υπολογίσετε τίποτα με το χέρι — ο υπολογιστής gputps.com σε αυτή τη σελίδα έχει ήδη υπολογίσει για κάθε μοντέλο που μπορεί να κρατήσει αυτή η κάρτα. Η ανάγνωση της απάντησης απαιτεί έξι βήματα..

01

Μοντέλο AI που δεν χωράει σε GPU VRAM. Τεταμένη, σχεδόν εκτελέσιμη. Άνετη, τρέχει εύκολα. Ανοικτό βάρος AI μοντέλου που είναι διαθέσιμο στη βάση δεδομένων μας. Νέες GPU κυκλοφορίες. Οριακή μνήμη/δεσμευμένη μνήμη GPU VRAM/εύρος ζώνης. Κάρτα GPU. Μήκος συμφραζομένων AI.

Ο πίνακας απαριθμεί 604 μοντέλα που τρέχει αυτή η κάρτα. Η αναζήτηση περιορίζει τη λίστα κατά όνομα ή κατά μέγεθος.
02

Αποφασίστε πόσο πολύ διαρκούν οι συνομιλίες σας

Σύρε τον μοχλό στο μήκος της συνομιλίας που σκοπεύεις να εργάζεσαι. Η μνήμη αυξάνεται με τη συνομιλία, και εναντίον μιας κάρτας που κρατά 40 GB έτσι οι ρυθμίσεις αξίζουν να γίνουν σωστά.
03

Επιλέξτε πόσο μακριά θα συμπιέσετε

Από προεπιλογή, ο πίνακας επιλέγει την λιγότερο συμπιεσμένη αντιγραφή που χωράει. Η ρύθμιση ενός κατωφλιού αφαιρεί τα μοντέλα που πληρούν προϋποθέσεις μόνο μέσω βαριάς συμπίεσης.
04

Κοίτα το φάσμα, όχι μόνο τον αριθμό

Οι αριθμοί υπολογίζονται, δεν μετρώνται. Το ταχύτερο αποτέλεσμα σε αυτή την κάρτα είναι 661 τόκ/σ σε Gemma 3 QAT 1B. Η ίδια κάρτα και μοντέλο διαφέρει κατά τριάντα έως πενήντα τοις εκατό μεταξύ των χρόνων εκτέλεσης συμπερασμάτων.
05

Έλέγξτε τον χώρο πριν αποφασίσετε

Η στήλη εφαρμογής χωρίζει τα μοντέλα που απλώς ταιριάζουν από αυτά που έχουν περιθώριο — αξίζει να ελεγχθεί πριν από την επιλογή ενός, σε σχέση με ένα διαθέσιμο 40 GB.
06

Διασταύρωση με άλλες συσκευές

Ακολουθώντας ένα μοντέλο μέχρι τη δική του σελίδα, καταγράφει όλα τα υλικά που μπορούν να το εκτελέσουν, ώστε να μπορείτε να δείτε πώς συγκρίνεται με A800 PCIe 40 GB.

Απαντήσεις

A800 PCIe 40 GB — κοινές ερωτήσεις

A800 PCIe 40 GB— μπορεί να τρέξει 30B μοντέλα;

Ναι. Για παράδειγμα τρέχει. Qwen3.6-35B-A3B σε Q6_K, χρησιμοποιώντας περίπου 28.0 GB μνήμης και δημιουργία γύρω από 152 tokens ανά δευτερόλεπτο

A800 PCIe 40 GB— μπορεί να τρέξει 70B μοντέλα;

Ναι. Για παράδειγμα τρέχει. Qwen3-Coder-Next σε Q3_K_M, χρησιμοποιώντας περίπου 34.1 GB μνήμης και δημιουργία γύρω από 124 tokens ανά δευτερόλεπτο

A800 PCIe 40 GB— πόση μνήμη έχει;

Αυτή η GPU έχει 40 GB του HBM2e. Γύρω από το ένα δέκατο είναι δεσμευμένο από την εκτέλεση συμπερασμού και τον οδηγό, αφήνοντας περίπου 36 GB διαθέσιμο για ένα μοντέλο και τη συζήτησή του.

A800 PCIe 40 GB— ποια είναι η εύρος ζώνης μνήμης της;

Η μνημονική εύρος ζώνης φτάνει 1,560 GB/s πέρα από ένα λεωφορείο του 5,120 μπίτ. Αυτή είναι η μοναδική καλύτερη πρόβλεψη για το πόσο γρήγορα παράγει κείμενο, επειδή η παραγωγή κάθε token σημαίνει την ανάγνωση ολόκληρου του μοντέλου έξω από τη μνήμη μία φορά.

A800 PCIe 40 GB— ποιο τύπο μνήμης χρησιμοποιεί;

Χρησιμοποιεί HBM2e χρονισμένος σε 1.22 GHz. Οι τύποι HBM βρίσκονται σε επιταχυντές κέντρων δεδομένων και διαθέτουν πολύ περισσότερη εύρυθμη απόδοση από την GDDR που χρησιμοποιείται σε GPU καρτών επιτραπέζιου υπολογιστή, γι' αυτό και δημιουργούν tokens σημαντικά πιο γρήγορα με την ίδια χωρητικότητα.

A800 PCIe 40 GB— ποιος το κατασκευάζει;

Αυτό είναι ένα προϊόν του NVIDIA, με το τσιπ που κατασκευάστηκε από TSMC, σε μια διαδικασία της 7 νμ.

A800 PCIe 40 GB— πότε κυκλοφόρησε;

Δημοσιεύτηκε το November 2022.

A800 PCIe 40 GB— πόση ισχύς χρησιμοποιεί;

Η αξιολογούμενη ισχύς της κάρτας είναι 250 W, και η προτεινόμενη τροφοδοσία συστήματος είναι 600 W. Η δημιουργία κειμένου απαιτεί ένταση σε εκρήξεις και είναι σε κατάσταση αναμονής μεταξύ των αιτημάτων, οπότε η μέση κατανάλωση κατά τη διάρκεια μιας εργάσιμης συνεδρίας είναι κανονικά πολύ κάτω από την αξιολογούμενη τιμή.

A800 PCIe 40 GB— πόσο cache έχει;

Η μνήμη L1 είναι 192 KB, και η L2 cache είναι 40 MB. Η Cache απορροφά μέρος της μνήμης κυκλοφορίας που θα έφτανε αλλιώς στον κύριο διαδικτυακό κόμβο, έτσι μια μεγαλύτερη L2 δίνει μια μέτρια αύξηση στην ταχύτητα γενετικά πέρα από αυτό που προ predicts η μόνο πλά bandwidth.

A800 PCIe 40 GB— ποιοι είναι οι TFLOPS του;

Αξιολογείται σε 78 TFLOPS σε μισή ακρίβεια και 19.5 TFLOPS σε μονή ακρίβεια. Αυτά είναι αιχμές αριθμητικών ανώτατων ορίων αντί για επιτεύξιμες τιμές, και η παραγωγή κειμένου φτάνει μόνο ένα μικρό κλάσμα αυτών επειδή περιορίζεται από την μπαλαντέρ μνήμης αντί.

A800 PCIe 40 GB— πόσους πυρήνες τензόρ έχει;

Έχει 432 Πυρήνες Tensor διάσπαρτα 108 Ροή πολλών επεξεργαστών. επιταχύνουν την αρνητική άλγεβρα από την οποία είναι χτισμένος ένας μετασχηματιστής, ο οποίος κυρίως επιταχύνει την επεξεργασία μιας μεγάλης πρότασης παρά την παραγωγή της απάντησης.

A800 PCIe 40 GB— υποστηρίζει CUDA;

Ναι. Αναφέρει την ικανότητα υπολογισμού CUDA. 8.0. Η δυνατότητα 7.0 και άνω έχει πυρήνες τανυστών, τους οποίους χρησιμοποιεί λογισμικό σύγχρονης inference. Κάτω από αυτό, επιστρέφει σε πιο αργές διαδρομές κώδικα για μοντέλα ποσοτικοποίησης.

A800 PCIe 40 GB— ποια είναι η διεπαφή bus που χρησιμοποιεί;

Χρησιμοποιεί PCIe 4.0 x16. Αυτό διέπει πόσο γρήγορα φορτώνεται ένα μοντέλο στην κάρτα αντί για το πόσο γρήγορα τρέχει μόλις φορτωθεί, οπότε κοστίζει μερικά δευτερόλεπτα κατά την εκκίνηση και τίποτα κατά τη διάρκεια της γεννήσεως.

A800 PCIe 40 GB— είναι καλό για να τρέξετε τοπικά AI μοντέλα;

Η μνήμη του καλύπτει άνετα τα μεσαίου μεγέθους μοντέλα που η πλειοψηφία των ανθρώπων τρέχει τοπικά και το εύρος ζώνης του είναι αρκετά υψηλό για να παράγει κείμενο γρηγορότερα από ότι οι περισσότεροι άνθρωποι διαβάζουν. Στο σύνολό του λειτουργεί 604 των μοντέλων που παρακολουθούμε. Εάν αυτό είναι αρκετό εξαρτάται αποκλειστικά από το ποιο μοντέλο θέλετε — ο παραπάνω πίνακας απαντά σε αυτό απευθείας.

A800 PCIe 40 GB— μπορεί να τρέξει ένα μοντέλο που δεν χωράει στη μνήμη του;

Μπορεί να διαχωριστεί, με την υπερχείλιση να κρατείται στη μνήμη συστήματος πέρα από την κάρτα. 40 GB τραβάει ολόκληρο το πράγμα κάτω, και κανένα από τα στοιχεία σε αυτή τη σελίδα δεν το υποθέτει.

Θα μπορούσαν δύο A800 PCIe 40 GB οι κάρτες θα είναι δύο φορές πιο γρήγορες;

Όχι. Μια δεύτερη κάρτα διπλασιάζει τη μνήμη σε 80 GB να εργάζεστε με αντί για διπλάσιο αριθμό τ tokens ανά δευτερόλεπτο — κάθε νούμερο εδώ αναφέρεται σε μία μόνο κάρτα.

A800 PCIe 40 GB— ποια AI μοντέλα μπορεί να εκτελέσει;

604 του 721 Οι ανοιχτού τύπου γλωσσικοί μοντέλοι που παρακολουθούμε ταιριάζουν σε αυτή την κάρτα και μπορούν να εκτελούνται τοπικά. Ο πίνακας σε αυτή τη σελίδα απαριθμεί τον καθένα, με τη μνήμη που χρειάζεται, την ποσοτικοποίηση στην οποία εκτελείται και μια εκτιμώμενη ταχύτητα παραγωγής.

A800 PCIe 40 GB— ποιο είναι το μεγαλύτερο AI μοντέλο που μπορεί να τρέξει;

Το μεγαλύτερο μοντέλο στον κατάλογό μας που χωράει είναι Qwen3-Coder-Next σε 80B παραμέτρους, συμπιεσμένο σε Q3_K_M. Παράγει περίπου 124 δεσμεύσεις ανά δευτερόλεπτο και χρειάζονται περίπου 34.1 GB της μνήμης της κάρτας.

A800 PCIe 40 GB— πόσοι τόκεν ανά δευτερόλεπτο παράγει;

Εξαρτάται από το ΜΟΝΤΕΛΟ. Το πιο γρήγορο ΜΟΝΤΕΛΟ που παρακολουθούμε εδώ είναι Gemma 3 QAT 1B γύρω από 661 διακυμάνσεις ανά δευτερόλεπτο, ενώ μεγαλύτερα μοντέλα τρέχουν αναλογικά πιο αργά επειδή κάθε διακυμάνση απαιτεί την ανάγνωση ολόκληρου του μοντέλου από τη μνήμη μία φορά. Οι ταχύτητες είναι εκτιμήσεις για μία μόνο συνομιλία τη φορά.

A800 PCIe 40 GB— μπορεί να τρέξει 7B μοντέλα;

Ναι. Για παράδειγμα τρέχει. Gemma 4 E4B σε Q8_0, χρησιμοποιώντας περίπου 9.8 GB μνήμης και δημιουργία γύρω από 147 tokens ανά δευτερόλεπτο

A800 PCIe 40 GB— μπορεί να τρέξει 13B μοντέλα;

Ναι. Για παράδειγμα τρέχει. DeepSeekMoE-16B σε Q8_0, χρησιμοποιώντας περίπου 17.5 GB μνήμης και δημιουργία γύρω από 229 tokens ανά δευτερόλεπτο

Η άλλη κατεύθυνση

Κοιτάζοντας το από την άλλη πλευρά;

Αυτή η σελίδα ξεκινά από το υλικό. Αν ήδη ξέρετε ποιο ΜΟΝΤΕΛ θέλετε και χρειάζεστε να ξέρετε τι απαιτείται για να το ΤΡΕΞΕΤΕ., Αρχίστε από το ΜΟΝΤΕΛΟ..

Όλες οι GPUs