Berechne die TPS des Data Center GPU Max 1350 auf lokalen KI-Modellen
Jedes Modell in unserem Katalog wurde anhand dieser Karte für das Kontextlängen und die Mindestqualität, die Sie wählen, bewertet. Die Geschwindigkeit ist eine Schätzung für eine einzelne Anfrage, berechnet aus der Speicherbandbreite dieser Karte und der Größe jedes Modells nach der Kompression..
Berechnet für diese Karte
721 Modelle in unserem Katalog insgesamt
Das größte Modell, das es hält
dots.llm1
142B · IQ4_XS · 11.7 tok/s
Schnellstes Modell
Gemma 3 QAT 1B
677 tok/s · 1B
Welche KI-Modelle können auf einem Data Center GPU Max 1350?
Setze die Eingaben, lies die Antwort
Mehr Kontext bedeutet mehr Speicher für den Gesprächs-Cache. Die Geschwindigkeit ist für ein frisches Gespräch und ändert sich nicht mit dieser Einstellung..
Blendet Modelle aus, die nur passen würden, wenn sie unter diesen Punkt komprimiert werden..
642 Modelle passen
Berechnung| Quantisierung | Passend | ||||||
|---|---|---|---|---|---|---|---|
|
677
tok/s
406–1,084 · niedrige Vertrauenswürdigkeit |
Gemma 3 1B | 1B | Mar 2025 | 1.8 GB | 33k Token | Q8_0 | Komfortabel |
|
677
tok/s
406–1,084 · niedrige Vertrauenswürdigkeit |
Gemma 3 QAT 1B | 1B | Apr 2025 | 1.8 GB | 33k Token | Q8_0 | Komfortabel |
|
677
tok/s
406–1,084 · niedrige Vertrauenswürdigkeit |
HGRN 1B (WT 103) ≈ | 1B | Nov 2023 | 1.8 GB | 131k Token ? | Q8_0 | Komfortabel |
|
677
tok/s
406–1,084 · niedrige Vertrauenswürdigkeit |
LLama 3..2 Typhoon 2 1B ≈ | 1B | Dec 2024 | 1.8 GB | 131k Token ? | Q8_0 | Komfortabel |
|
677
tok/s
406–1,084 · niedrige Vertrauenswürdigkeit |
OLMo-1B ≈ | 1B | Feb 2024 | 1.8 GB | 131k Token ? | Q8_0 | Komfortabel |
|
677
tok/s
406–1,084 · niedrige Vertrauenswürdigkeit |
Pythia-1b ≈ | 1B | Apr 2023 | 1.8 GB | 131k Token ? | Q8_0 | Komfortabel |
|
627
tok/s
376–1,003 · niedrige Vertrauenswürdigkeit |
OpenELM-1.1B ≈ | 1.1B | May 2024 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
616
tok/s
369–985 · niedrige Vertrauenswürdigkeit |
DeciCoder-1B ≈ | 1.1B | Aug 2023 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
616
tok/s
369–985 · niedrige Vertrauenswürdigkeit |
SantaCoder ≈ | 1.1B | Jan 2023 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
616
tok/s
369–985 · niedrige Vertrauenswürdigkeit |
TinyLlama-1.1B (1T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
616
tok/s
369–985 · niedrige Vertrauenswürdigkeit |
TinyLlama-1.1B (3T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
564
tok/s
339–903 · niedrige Vertrauenswürdigkeit |
EXAONE 4.0 (1.2B) ≈ | 1.2B | Jul 2025 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
564
tok/s
339–903 · niedrige Vertrauenswürdigkeit |
LFM2-1.2B ≈ | 1.2B | Jul 2025 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
564
tok/s
339–903 · niedrige Vertrauenswürdigkeit |
MinerU2.5 ≈ | 1.2B | Sep 2025 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
564
tok/s
339–903 · niedrige Vertrauenswürdigkeit |
Pleias 1.0 1.2B ≈ | 1.2B | Dec 2024 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
564
tok/s
339–903 · niedrige Vertrauenswürdigkeit |
Pleias-RAG-1B ≈ | 1.2B | Apr 2025 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
551
tok/s
330–881 · niedrige Vertrauenswürdigkeit |
Llama 3.2 1B | 1.2B | Sep 2024 | 2.2 GB | 131k Token | Q8_0 | Komfortabel |
|
543
tok/s
326–869 · niedrige Vertrauenswürdigkeit |
MiniCPM-1.2B ≈ | 1.2B | Jun 2024 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
521
tok/s
313–834 · niedrige Vertrauenswürdigkeit |
DeepSeek Coder 1.3B ≈ | 1.3B | Jan 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
521
tok/s
313–834 · niedrige Vertrauenswürdigkeit |
DeepSeek-VL-1.3B ≈ | 1.3B | Mar 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
521
tok/s
313–834 · niedrige Vertrauenswürdigkeit |
DigiRL ≈ | 1.3B | Jun 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
521
tok/s
313–834 · niedrige Vertrauenswürdigkeit |
GLA Transformer 1.3B ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
521
tok/s
313–834 · niedrige Vertrauenswürdigkeit |
Janus 1.3B ≈ | 1.3B | Oct 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
521
tok/s
313–834 · niedrige Vertrauenswürdigkeit |
Kosmos-2.5 ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
521
tok/s
313–834 · niedrige Vertrauenswürdigkeit |
Otter ≈ | 1.3B | May 2023 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
Die Geschwindigkeiten sind Schätzungen für eine einzelne Anfrage — ein Gespräch zur Zeit — berechnet aus BANDWIDTH, MODELLGRÖSSE und QUANTISIERUNG. Der tatsächliche Durchsatz variiert mit der INFERENZLAUFZEIT und ihrer Version. Zahlen, die von Hardwareanbietern veröffentlicht wurden, messen viele gleichzeitige Anfragen und sind viel höher..
Aufgezeichnet
Data Center GPU Max 1350 Volle Spezifikation
Alles auf Datei für dieses Board, geordnet danach, wie sehr es das Ausführen eines Sprachmodells beeinflusst, anstatt wie es in einem Datenblatt aufgeführt wäre. MEMORY kommt zuerst, weil es das Ergebnis bestimmt; der Rest ist CONTEXT..
Speicher
Die beiden Spezifikationen, die entscheiden, was diese CARD ausführen kann und wie schnell. Die Kapazität legt fest, welche Modelle passen; die Bandbreite bestimmt, wie viele Tokens pro Sekunde sie produzieren, sobald sie passen.
- Speicherkapazität
- 96 GB
- Speicherbandbreite
- 2,460 GB/s
- Speichertype
- HBM2e
- Speicherdatenbreite
- 8,192 bit
- Speichertakt
- 1.2 GHz
Der Chip
Welcher Prozessor sich auf der Platine befindet und wie er hergestellt wurde. Eine kleinere Prozessgröße bedeutet allgemein mehr Leistung bei gleicher Energie.
- Grafikprozessor
- Ponte Vecchio
- Architektur
- Generation 12.5
- Generierung
- Data Center GPU(Ponte Vecchio)
- Gießerei
- Intel
- Prozessgröße
- 10 nm
- Transistoren
- 100 billion
- Transistordichte
- 78,100 K/mm²
- Die Größe
- 1,280 mm²
- Veröffentlicht
- 10 January 2023
Taktfrequenzen
Wie schnell der Prozessor läuft. Hier weit weniger wert als bei einem Gaming-Benchmark: Die Textgenerierung ist durch die Speicherbandbreite begrenzt, sodass eine höhere Taktfrequenz das Ergebnis kaum verbessert.
- Basis-Takt
- 750 MHz
- Boost-Takt
- 1.55 GHz
Verarbeitungseinheiten
Was der Chip enthält. Diese treiben die Grafikleistung und sind hauptsächlich für die Verarbeitung eines langen Prompts wichtig, statt für die Produktion der Antwort.
- Shader-Einheiten
- 14,336
- Texturzuordnungseinheiten
- 896
- Strahlverfolgungskerne
- 112
- L1-Cache
- 64 KB
- L2-Cache
- 408 MB
Theoretische Leistung
Die veröffentlichten Spitzenarithmetikraten für die Karte. Dies sind Obergrenzen, die keine echte Arbeitslast erreicht, und das Generieren von Text erreicht nur einen kleinen Bruchteil davon, da es durch den Speicher und nicht durch die Arithmetik limitiert ist.
- Halbpräzision (FP16)
- 44.4 TFLOPS
- Einfache Genauigkeit (FP32)
- 44.4 TFLOPS
- Doppelte Genauigkeit (FP64)
- 44.4 TFLOPS
- Texturrate
- 1,389 GTexel/s
Die Platine
Was erforderlich ist, um die KArte physisch zu installieren und mit Strom zu versorgen — die praktischen Einschränkungen, die entscheiden, ob sie in die Maschine passt, die Sie bereits besitzen.
- Leistungsaufnahme (TDP)
- 450 W
- Vorgeschlagene Stromversorgung
- 850 W
- Bus-Schnittstelle
- PCIe 5.0 x16
- Slot-Breite
- OAM Module
Software-Unterstützung
Welche Grafik- und Rechen-Schnittstellen die Karte unterstützt. CUDA-Rechenfähigkeit betrifft die Inferenz: unter 7.0 gibt es keine Tensor-Kerne, und moderne Inferenz-Software greift auf langsamere Code-Pfade zurück.
- DirectX
- 12.1
- OpenGL
- 4.6
- OpenCL
- 3.0
- Shader-Modell
- 6.6
Auflistungen
Wo man ein Data Center GPU Max 1350
Derzeit listet kein Anbieter diese Karte. Die Angebote stammen von Anbietern, die sie hier direkt veröffentlichen. — Durchsuche das Anbieter-Verzeichnis zu sehen, wer was verkauft.
Was die Zahlen bedeuten
Speicher: die Spezifikation, die alles entscheidet
Speicher
96 GB
Bandbreite
2,460 GB/s
Größtes Modell
dots.llm1
Data Center GPU Max 1350 hält 96 GB von HBM2e. Das ordnet es der Klasse von Hardware zu, die die größten OPEN WEIGHT-Modelle ohne Aufspaltung über Maschinen halten kann. Eine Inferenzlaufzeit kann ungefähr erreichen 86.4 GB.
Der Speicherbandbreite erreicht 2,460 GB/s über einen Bus von 8,192 Bits. Das ist an der Spitze dessen, was existiert. Da jedes Token bedeutet, das gesamte Modell einmal aus dem MEMORY zu lesen, übersetzt es sich fast direkt in die GENERATIONSGESCHWINDIGKEIT - diese KARTEN ist genug bandbreitenreich, dass die MODELLGRÖßE lange bevor der BUS der limitierende Faktor wird, nicht mehr das limitierende Element ist.
Das kommt von einem MEMORY CLOCK von 1.2 GHz. Beide Hälften sind wichtig, und keine ist in einem Gaming-Benchmark sichtbar.
Die praktische Obergrenze ist dots.llm1, 142B, komprimiert auf IQ4_XS und generieren etwa 11.7 Token pro Sekunde
Der Chip und wie er gebaut wurde
Data Center GPU Max 1350 ist auf dem Grafikprozessor aufgebaut Ponte Vecchio, die Architektur verwenden Generation 12.5 von Intel, als Teil der Generierung Data Center GPU(Ponte Vecchio).
Der Chip wird hergestellt von Intel, einem Prozess von 10 nm, mit einem Maß von 1,280 mm², halten 100 billion Transistoren. Ein kleinerer Prozess bedeutet im Allgemeinen mehr Leistung für die gleiche Energie, obwohl es bei Sprachmodellen weit weniger von Bedeutung ist als das MEMORY-SUBSYSTEM.
Es wurde veröffentlicht in January 2023, grob 3.675861986431 vor Jahren. Die Unterstützung von Inference-Software folgt in der Regel ein oder zwei Jahre hinter der Hardware, sodass eine Karte dieses Alters normalerweise über ausgereifte, gut optimierte Codepfade verfügt.
Rechen-Durchsatz, und warum er weniger wichtig ist, als er aussieht
FP16
44.4 TFLOPS
FP64
44.4 TFLOPS
Auf Papier Data Center GPU Max 1350 erreicht 44.4 TFLOPS bei halber Genauigkeit, und 44.4 TFLOPS bei einfacher Genauigkeit. Dies sind Spitzenwerte, keine echten Workloads, die diese erreichen, und die Generierung von Text erreicht nur einen kleinen Bruchteil davon – das Decodieren ist durch die MEMORY und nicht durch die Arithmetik begrenzt, weshalb eine CARD hier enorm leistungsfähig erscheinen kann und trotzdem Tokens in einem gewöhnlichen Tempo produziert.
Der Durchsatz für doppelpräzises Rechnen erreicht 44.4 TFLOPS. Es hat keinen Einfluss auf das Ausführen eines Sprachmodells — keine Inferenzlaufzeit verwendet es — aber es trennt die Teile des Rechenzentrums von den Verbraucherteilen, da letztere es absichtlich einschränken.
Die Taktraten laufen von einer Basis von 750 MHz zu einem Schub von 1.55 GHz. Hier weit weniger wert als bei einem Gaming-Benchmark: das Anheben der Taktgeschwindigkeiten steigert die Arithmetik, und die Arithmetik ist nicht das, worauf die Generation wartet.
Cache und Verarbeitungseinheiten
Data Center GPU Max 1350 hat einen L1-Cache von 64 KB, unterstützt von einem L2-Cache von 408 MB. Cache absorbiert einen Teil des MEMORY-Traffics, der ansonsten den MAIN BUS treffen würde, was der einzige Ort auf dieser Seite ist, an dem eine Zahl außer BANDWIDTH leise die GENERATIONSGESCHWINDIGKEIT beeinflusst — ein großes L2 lässt mehr des WORKING SETS nah an den CORES bleiben.
Es gibt 14,336 Shader-Einheiten, 896 Texturzuordnungseinheiten. Diese treiben Grafikarbeitslasten und tragen zur Verarbeitung von Eingabeaufforderungen bei, aber sie sitzen den größten Teil der Zeit, die ein Modell benötigt, um eine Antwort zu generieren, untätig.
Leistung, Größe und Installation
Stromverbrauch
450 W
Data Center GPU Max 1350 ist bewertet mit 450 W, und das empfohlene Systemnetzteil ist 850 W. Das Ausführen eines Sprachmodells hält eine GPU-Karte in Intervallen beschäftigt, anstatt kontinuierlich — sie zieht stark während der Generierung und wartet zwischen den Anfragen — daher liegt der nachhaltige Verbrauch über einen Arbeitstag normalerweise deutlich unter dem angegebenen Wert.
Die Karte belegt oam module. Es lohnt sich, bereits das Gehäuse und das Netzteil in der Maschine zu überprüfen, da die größten KARTEN erheblich mehr von beidem benötigen, als ein typischer Desktop bereitstellt.
Es verbindet sich über PCIe 5.0 x16. Die Schnittstelle regelt, wie schnell ein Modell von der Festplatte in die Karte geladen wird, nicht wie schnell es dort läuft, daher kostet ein engerer Link ein paar Sekunden beim Start und danach nichts mehr.
Die Extreme
Die größten AI-Modelle, die auf einem Data Center GPU Max 1350
Die größten OPEN WEIGHT Modelle, die auf dieser CARD passen, neueste zuerst. Jedes wird mit der besten Kompression angezeigt, die die CARD halten kann..
Die schnellsten AI-Modelle auf einer Data Center GPU Max 1350
Wo diese Karte die Token am schnellsten produziert. Kleinere Modelle dominieren hier, weil das Generieren jedes Tokens bedeutet, das gesamte Modell einmal aus dem VRAM zu lesen..
Schritt für Schritt
Wie man die Tokens pro Sekunde eines Data Center GPU Max 1350
Du musst nichts von Hand berechnen — der gputps.com Rechner auf dieser Seite hat es bereits für jedes Modell, das diese Karte halten kann, herausgefunden. Das Ablesen der Antwort erfordert sechs Schritte..
-
01
Modell: KI-Modell Lauf: KI-Modell ausführen Passt nicht: Passt nicht in GPU VRAM Eng: Kaum lauffähig Komfortabel: Läuft leicht Offenes Gewicht: Open-Source KI-Modell In der Datei: In unserer Datenbank Veröffentlichungen: Neu veröffentlichte GPUs Speicher/Speichergebunden: GPU VRAM/Bandbreite Karte: GPU-Karte Kontextlänge: KI-Kontextfenster
Die Tabelle listet 642 Modelle, die diese Karte ausführen kann. Nach Namen oder Größe suchen – das Eingeben von 27b stimmt mit der Parameteranzahl überein, auch wenn der Name es nie angibt.
-
02
Passen Sie den Kontext an Ihre Arbeit an
Ziehe den Regler auf die Gesprächslänge, mit der du arbeiten möchtest. Der Cache wächst mit dem Gespräch und gegen eine Karte, die hält 96 GB Es ist oft das, was ein großes Modell über die Kante drängt.
-
03
Vergleiche an ein Qualitätsniveau anheften
Kompression ist das, was größere Modelle passend macht. Die Qualitätskontrolle verwirft jedes Modell, das mehr davon benötigt, als Sie bereit sind zu geben.
-
04
Lese die Geschwindigkeit und die Reichweite
Jede Geschwindigkeit ist eine Schätzung für ein einzelnes Gespräch, mit einem Bereich darunter. Das obere Ende hier ist 677 tok/s auf Gemma 3 QAT 1B. Die gleiche Karte und das Modell variieren zwischen dreißig und fünfzig Prozent bei den Inferenzlaufzeiten.
-
05
Überprüfen Sie die VRAM-Spalte, bevor Sie committen.
Eine enge Passform läuft, lässt jedoch keinen Raum, um den Kontext später zu erhöhen; komfortabel hat Spielraum. Die Speicher-Spalte zeigt, was jedes Modell benötigt im Vergleich zu einem verfügbaren 96 GB.
-
06
Überprüfen Sie dasselbe Modell von der anderen Seite
Jeder Modellname in der Tabelle verlinkt auf seine eigene Seite, die dieselbe Berechnung über jede Karte ausführt, die wir haben. Dort sehen Sie, ob der richtige Kauf ist Data Center GPU Max 1350.
Antworten
Data Center GPU Max 1350 — Häufige Fragen
Data Center GPU Max 1350— Wer macht es?
Dies ist ein Produkt von Intel, mit dem von ... hergestellten Chip Intel, einem Prozess von 10 nm.
Data Center GPU Max 1350— Wann wurde es veröffentlicht?
Es wurde veröffentlicht in January 2023.
Data Center GPU Max 1350— Wie viel Leistung verbraucht es?
Bewertete Boardleistung ist 450 W, und das empfohlene Systemnetzteil ist 850 W. Die Textgenerierung erfordert während der Spitzenzeiten viel Leistung und idle zwischen den Anfragen, sodass der durchschnittliche Verbrauch während einer Arbeitssitzung normalerweise weit unter der angegebenen Zahl liegt.
Data Center GPU Max 1350— Wie viel Cache hat es?
Der L1-Cache ist 64 KB, und der L2-Cache ist 408 MB. Der Cache absorbiert einen Teil des Speicherverkehrs, der sonst den Hauptbus erreichen würde, sodass ein größeres L2 eine bescheidene Steigerung der Generierungsgeschwindigkeit über das hinaus bietet, was die Bandbreite allein vorhersagt.
Data Center GPU Max 1350— Was sind seine TFLOPS?
Es ist bewertet mit 44.4 TFLOPS bei halber Genauigkeit und 44.4 TFLOPS bei einfacher Präzision. Dies sind Spitzenarithmetik-Obergrenzen anstelle von erreichbaren Raten, und die Textgenerierung erreicht nur einen kleinen Bruchteil davon, da sie stattdessen durch die Speicherm_bandbreite begrenzt ist.
Data Center GPU Max 1350— Unterstützt es CUDA?
Nein. CUDA ist nur für NVIDIA, und dies ist eine Karte von Intel. Es laufen Sprachmodelle über ROCm, Vulkan oder Metal, je nach Software, die weniger ausgereift sind als der CUDA-Pfad — unsere Schätzungen wenden eine Strafe dafür an.
Data Center GPU Max 1350— Welche Bus-Schnittstelle verwendet es?
Es verwendet PCIe 5.0 x16. Dies bestimmt, wie schnell ein Modell auf die GPU-Karte geladen wird, anstatt wie schnell es läuft, nachdem es geladen wurde, sodass es beim Start ein paar Sekunden kostet und während der Generierung nichts.
Data Center GPU Max 1350— Ist es gut, um lokale AI-Modelle auszuführen?
Ihr Speicher ist groß genug für Modelle, die die meisten Desktop-Hardware nicht erreichen können, und ihre Bandbreite zählt sie zu der schnellsten Hardware, die für die Generierung verfügbar ist. Insgesamt läuft es 642 der Modelle, die wir verfolgen. Ob das genug ist, hängt ganz davon ab, welches Modell Sie möchten – die obige Tabelle beantwortet das direkt.
Data Center GPU Max 1350— kann es ein Modell ausführen, das nicht in seinen VRAM passt?
Das Auslagern über die Karte hinaus 96 GB zieht das Ganze nach unten, und keine der Zahlen auf dieser Seite geht davon aus.
Würden zwei Data Center GPU Max 1350 Karten doppelt so schnell sein?
Kapazität addiert, Durchsatz nicht. Zwei von ihnen geben Ihnen 192 GB um mit zu arbeiten, anstatt zweimal die Tokens pro Sekunde - jede Zahl hier bezieht sich auf eine einzelne Karte.
Data Center GPU Max 1350— Welche AI-Modelle kann es ausführen?
642 des 721 Open-Source-Sprachmodelle, die wir verfolgen, passen auf diese Karte und können lokal ausgeführt werden. Die Tabelle auf dieser Seite listet jedes einzelne auf, mit dem benötigten MEMORY, der QUANTISIERUNG, auf der es läuft, und einer geschätzten Generierungsgeschwindigkeit.
Data Center GPU Max 1350— Was ist das größte AI-MODEL, das es ausführen kann?
Das größte Modell in unserem Katalog, das passt, ist dots.llm1 bei 142B Parameter, komprimiert auf IQ4_XS. Es generiert ungefähr 11.7 Tokens pro Sekunde und benötigt etwa 78.3 GB des Speichers der Karte.
Data Center GPU Max 1350— Wie viele Tokens pro Sekunde produziert es?
Es hängt vom Modell ab. Das schnellste Modell, das wir hier verfolgen, ist Gemma 3 QAT 1B ungefähr 677 Tokens pro Sekunde, während größere Modelle verhältnismäßig langsamer laufen, da jedes Token das vollständige Modell einmal aus dem Speicher lesen muss. Geschwindigkeiten sind Schätzungen für ein einzelnes Gespräch gleichzeitig.
Data Center GPU Max 1350— Kann es laufen 7B Modelle?
Ja. Es läuft. Gemma 4 E4B bei Q8_0, verwenden von etwa 9.8 GB VRAM und generieren etwa 150 Token pro Sekunde
Data Center GPU Max 1350— Kann es laufen 13B Modelle?
Ja. Es läuft. DeepSeekMoE-16B bei Q8_0, verwenden von etwa 17.5 GB VRAM und generieren etwa 235 Token pro Sekunde
Data Center GPU Max 1350— Kann es laufen 30B Modelle?
Ja. Es läuft. ERNIE-4.5-VL-28B-A3B bei Q8_0, verwenden von etwa 29.2 GB VRAM und generieren etwa 134 Token pro Sekunde
Data Center GPU Max 1350— Kann es laufen 70B Modelle?
Ja. Es läuft. Qwen3-Coder-Next bei Q8_0, verwenden von etwa 80.7 GB VRAM und generieren etwa 47.0 Token pro Sekunde
Data Center GPU Max 1350— wie viel VRAM hat es?
Diese Karte hat 96 GB von HBM2e. Rund ein Zehntel wird von der Inferenzlaufzeit und dem Treiber reserviert, was ungefähr 86.4 GB verfügbar für ein Modell und dessen Konversation.
Data Center GPU Max 1350— Was ist seine Speicherbandbreite?
Der Speicherbandbreite erreicht 2,460 GB/s über einen Bus von 8,192 Bits. Dies ist der einzige beste Prädiktor dafür, wie schnell es Text generiert, da das Erzeugen jedes Tokens bedeutet, das gesamte Modell einmal aus dem Speicher zu lesen.
Data Center GPU Max 1350— Welche Art von MEMORY verwendet es?
Es verwendet HBM2e getaktet bei 1.2 GHz. HBM-Typen sind auf Rechenzentrum-Beschleunigern zu finden und verfügen über weitaus mehr Bandbreite als das GDDR, das auf Desktop-Karten verwendet wird, weshalb sie bei gleicher Kapazität erheblich schneller Tokens erzeugen.
Die andere Richtung
Von der anderen Seite aus betrachten?
Diese Seite beginnt mit der Hardware. Wenn Sie bereits wissen, welches Modell Sie möchten und wissen müssen, was benötigt wird, um es auszuführen., Beginnen Sie mit dem Modell anstelle..