Berechne die TPS des Arc Pro A60M auf lokalen KI-Modellen

Intel 8 GB GDDR6 256 GB/s June 2023

Jedes Modell in unserem Katalog wurde anhand dieser Karte für das Kontextlängen und die Mindestqualität, die Sie wählen, bewertet. Die Geschwindigkeit ist eine Schätzung für eine einzelne Anfrage, berechnet aus der Speicherbandbreite dieser Karte und der Größe jedes Modells nach der Kompression..

Berechnet für diese Karte

337 Modelle, die es ausführen kann

679 Modelle in unserem Katalog insgesamt

Das größte Modell, das es hält

Baichuan 1-13B

13.3B · Q3_K_M · 14.3 tok/s

Schnellstes Modell

Gemma 3 QAT 1B

70.5 tok/s · 1B

Welche KI-Modelle können auf einem Arc Pro A60M?

Setze die Eingaben, lies die Antwort

Mehr Kontext bedeutet mehr Speicher für den Gesprächs-Cache. Die Geschwindigkeit ist für ein frisches Gespräch und ändert sich nicht mit dieser Einstellung..

Blendet Modelle aus, die nur passen würden, wenn sie unter diesen Punkt komprimiert werden..

337 Modelle passen

Berechnung
Quantisierung Passend
70.5 tok/s

42–113 · niedrige Vertrauenswürdigkeit

Gemma 3 1B 1B Mar 2025 1.8 GB 33k Token Q8_0 Komfortabel
70.5 tok/s

42–113 · niedrige Vertrauenswürdigkeit

Gemma 3 QAT 1B 1B Apr 2025 1.8 GB 33k Token Q8_0 Komfortabel
70.5 tok/s

42–113 · niedrige Vertrauenswürdigkeit

HGRN 1B (WT 103) 1B Nov 2023 1.8 GB 131k Token ? Q8_0 Komfortabel
70.5 tok/s

42–113 · niedrige Vertrauenswürdigkeit

LLama 3..2 Typhoon 2 1B 1B Dec 2024 1.8 GB 131k Token ? Q8_0 Komfortabel
70.5 tok/s

42–113 · niedrige Vertrauenswürdigkeit

OLMo-1B 1B Feb 2024 1.8 GB 131k Token ? Q8_0 Komfortabel
70.5 tok/s

42–113 · niedrige Vertrauenswürdigkeit

Pythia-1b 1B Apr 2023 1.8 GB 131k Token ? Q8_0 Komfortabel
65.3 tok/s

39–104 · niedrige Vertrauenswürdigkeit

OpenELM-1.1B 1.1B May 2024 1.9 GB 131k Token ? Q8_0 Komfortabel
64.1 tok/s

38–103 · niedrige Vertrauenswürdigkeit

DeciCoder-1B 1.1B Aug 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
64.1 tok/s

38–103 · niedrige Vertrauenswürdigkeit

SantaCoder 1.1B Jan 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
64.1 tok/s

38–103 · niedrige Vertrauenswürdigkeit

TinyLlama-1.1B (1T token checkpoint) 1.1B Oct 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
64.1 tok/s

38–103 · niedrige Vertrauenswürdigkeit

TinyLlama-1.1B (3T token checkpoint) 1.1B Oct 2023 1.9 GB 131k Token ? Q8_0 Komfortabel
58.7 tok/s

35–94 · niedrige Vertrauenswürdigkeit

EXAONE 4.0 (1.2B) 1.2B Jul 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
58.7 tok/s

35–94 · niedrige Vertrauenswürdigkeit

MinerU2.5 1.2B Sep 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
58.7 tok/s

35–94 · niedrige Vertrauenswürdigkeit

Pleias 1.0 1.2B 1.2B Dec 2024 2.0 GB 131k Token ? Q8_0 Komfortabel
58.7 tok/s

35–94 · niedrige Vertrauenswürdigkeit

Pleias-RAG-1B 1.2B Apr 2025 2.0 GB 131k Token ? Q8_0 Komfortabel
57.3 tok/s

34–92 · niedrige Vertrauenswürdigkeit

Llama 3.2 1B 1.2B Sep 2024 2.2 GB 131k Token Q8_0 Komfortabel
56.5 tok/s

34–90 · niedrige Vertrauenswürdigkeit

MiniCPM-1.2B 1.2B Jun 2024 2.0 GB 131k Token ? Q8_0 Komfortabel
54.2 tok/s

33–87 · niedrige Vertrauenswürdigkeit

DeepSeek Coder 1.3B 1.3B Jan 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
54.2 tok/s

33–87 · niedrige Vertrauenswürdigkeit

DeepSeek-VL-1.3B 1.3B Mar 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
54.2 tok/s

33–87 · niedrige Vertrauenswürdigkeit

DigiRL 1.3B Jun 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
54.2 tok/s

33–87 · niedrige Vertrauenswürdigkeit

GLA Transformer 1.3B 1.3B Aug 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
54.2 tok/s

33–87 · niedrige Vertrauenswürdigkeit

Janus 1.3B 1.3B Oct 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
54.2 tok/s

33–87 · niedrige Vertrauenswürdigkeit

Kosmos-2.5 1.3B Aug 2024 2.1 GB 131k Token ? Q8_0 Komfortabel
54.2 tok/s

33–87 · niedrige Vertrauenswürdigkeit

Otter 1.3B May 2023 2.1 GB 131k Token ? Q8_0 Komfortabel
54.2 tok/s

33–87 · niedrige Vertrauenswürdigkeit

Phi-1 1.3B Oct 2023 2.1 GB 131k Token ? Q8_0 Komfortabel

Die Geschwindigkeiten sind Schätzungen für eine einzelne Anfrage — ein Gespräch zur Zeit — berechnet aus BANDWIDTH, MODELLGRÖSSE und QUANTISIERUNG. Der tatsächliche Durchsatz variiert mit der INFERENZLAUFZEIT und ihrer Version. Zahlen, die von Hardwareanbietern veröffentlicht wurden, messen viele gleichzeitige Anfragen und sind viel höher..

Aufgezeichnet

Arc Pro A60M Volle Spezifikation

Alles auf Datei für dieses Board, geordnet danach, wie sehr es das Ausführen eines Sprachmodells beeinflusst, anstatt wie es in einem Datenblatt aufgeführt wäre. MEMORY kommt zuerst, weil es das Ergebnis bestimmt; der Rest ist CONTEXT..

Speicher

Die beiden Spezifikationen, die entscheiden, was diese CARD ausführen kann und wie schnell. Die Kapazität legt fest, welche Modelle passen; die Bandbreite bestimmt, wie viele Tokens pro Sekunde sie produzieren, sobald sie passen.

Speicherkapazität
8 GB
Speicherbandbreite
256 GB/s
Speichertype
GDDR6
Speicherdatenbreite
128 bit
Speichertakt
2 GHz

Der Chip

Welcher Prozessor sich auf der Platine befindet und wie er hergestellt wurde. Eine kleinere Prozessgröße bedeutet allgemein mehr Leistung bei gleicher Energie.

Grafikprozessor
DG2-256
Architektur
Xe-HPG
Generierung
Alchemist(Pro-Series Mobile)
Gießerei
TSMC
Prozessgröße
6 nm
Transistoren
11.5 billion
Transistordichte
42,800 K/mm²
Die Größe
269 mm²
Veröffentlicht
6 June 2023

Taktfrequenzen

Wie schnell der Prozessor läuft. Hier weit weniger wert als bei einem Gaming-Benchmark: Die Textgenerierung ist durch die Speicherbandbreite begrenzt, sodass eine höhere Taktfrequenz das Ergebnis kaum verbessert.

Basis-Takt
900 MHz
Boost-Takt
1.3 GHz

Verarbeitungseinheiten

Was der Chip enthält. Diese treiben die Grafikleistung und sind hauptsächlich für die Verarbeitung eines langen Prompts wichtig, statt für die Produktion der Antwort.

Shader-Einheiten
2,048
Texturzuordnungseinheiten
128
Render-Ausgabeeinheiten
64
Strahlverfolgungskerne
16
L2-Cache
8 MB

Theoretische Leistung

Die veröffentlichten Spitzenarithmetikraten für die Karte. Dies sind Obergrenzen, die keine echte Arbeitslast erreicht, und das Generieren von Text erreicht nur einen kleinen Bruchteil davon, da es durch den Speicher und nicht durch die Arithmetik limitiert ist.

Halbpräzision (FP16)
10.7 TFLOPS
Einfache Genauigkeit (FP32)
5.3 TFLOPS
Pixelrate
83 GPixel/s
Texturrate
166 GTexel/s

Die Platine

Was erforderlich ist, um die KArte physisch zu installieren und mit Strom zu versorgen — die praktischen Einschränkungen, die entscheiden, ob sie in die Maschine passt, die Sie bereits besitzen.

Leistungsaufnahme (TDP)
95 W
Bus-Schnittstelle
PCIe 4.0 x16
Slot-Breite
IGP

Software-Unterstützung

Welche Grafik- und Rechen-Schnittstellen die Karte unterstützt. CUDA-Rechenfähigkeit betrifft die Inferenz: unter 7.0 gibt es keine Tensor-Kerne, und moderne Inferenz-Software greift auf langsamere Code-Pfade zurück.

DirectX
12.2
OpenGL
4.6
Vulkan
1.4
OpenCL
3.0
Shader-Modell
6.6

Auflistungen

Wo man ein Arc Pro A60M

Derzeit listet kein Anbieter diese Karte. Die Angebote stammen von Anbietern, die sie hier direkt veröffentlichen. — Durchsuche das Anbieter-Verzeichnis zu sehen, wer was verkauft.

Was die Zahlen bedeuten

Was das Speicher-Subsystem für KI bedeutet

Speicher

8 GB

Bandbreite

256 GB/s

Größtes Modell

Baichuan 1-13B

Arc Pro A60M trägt nur 8 GB von GDDR6. Das begrenzt es auf das kleinere Ende des Katalogs, und ein Modell muss vollständig hineinpassen, bevor es überhaupt etwas generiert. Ein Laufzeit erhält tatsächlich etwa 7.2 GB.

Der Speicherbandbreite erreicht 256 GB/s über einen Bus von 128 Bits. Die Bandbreite ist die echte Einschränkung dieser Karte. Jedes Token erfordert das gesamte Modell aus dem Speicher zu lesen, daher wird sich ein großes Modell hier sogar langsam anfühlen, selbst wenn es passt.

Die Zahl ist die Busbreite multipliziert mit einer Speicher-Taktfrequenz von 2 GHz. Es ist der Grund, warum Kernanzahlen die Generationsgeschwindigkeit so schlecht vorhersagen.

In der Praxis erreicht diese Kombination ein Maximum bei Baichuan 1-13B, 13.3B, komprimiert auf Q3_K_M und generieren etwa 14.3 Token pro Sekunde

Der Chip und wie er gebaut wurde

Arc Pro A60M ist auf dem Grafikprozessor aufgebaut DG2-256, die Architektur verwenden Xe-HPG von Intel, als Teil der Generierung Alchemist(Pro-Series Mobile).

Der Chip wird hergestellt von TSMC, einem Prozess von 6 nm, mit einem Maß von 269 mm², halten 11.5 billion Transistoren. Ein kleinerer Prozess bedeutet im Allgemeinen mehr Leistung für die gleiche Energie, obwohl es bei Sprachmodellen weit weniger von Bedeutung ist als das MEMORY-SUBSYSTEM.

Es wurde veröffentlicht in June 2023, grob 3.1532629372174 vor Jahren. Die Unterstützung von Inference-Software folgt in der Regel ein oder zwei Jahre hinter der Hardware, sodass eine Karte dieses Alters normalerweise über ausgereifte, gut optimierte Codepfade verfügt.

Rechen-Durchsatz, und warum er weniger wichtig ist, als er aussieht

FP16

10.7 TFLOPS

Auf Papier Arc Pro A60M erreicht 10.7 TFLOPS bei halber Genauigkeit, und 5.3 TFLOPS bei einfacher Genauigkeit. Dies sind Spitzenwerte, keine echten Workloads, die diese erreichen, und die Generierung von Text erreicht nur einen kleinen Bruchteil davon – das Decodieren ist durch die MEMORY und nicht durch die Arithmetik begrenzt, weshalb eine CARD hier enorm leistungsfähig erscheinen kann und trotzdem Tokens in einem gewöhnlichen Tempo produziert.

Die Taktraten laufen von einer Basis von 900 MHz zu einem Schub von 1.3 GHz. Hier weit weniger wert als bei einem Gaming-Benchmark: das Anheben der Taktgeschwindigkeiten steigert die Arithmetik, und die Arithmetik ist nicht das, worauf die Generation wartet.

Cache und Verarbeitungseinheiten

unterstützt von einem L2-Cache von 8 MB. Cache absorbiert einen Teil des MEMORY-Traffics, der ansonsten den MAIN BUS treffen würde, was der einzige Ort auf dieser Seite ist, an dem eine Zahl außer BANDWIDTH leise die GENERATIONSGESCHWINDIGKEIT beeinflusst — ein großes L2 lässt mehr des WORKING SETS nah an den CORES bleiben.

Es gibt 2,048 Shader-Einheiten, 128 Texturzuordnungseinheiten, und 64 Render-Ausgabeeinheiten. Diese treiben Grafikarbeitslasten und tragen zur Verarbeitung von Eingabeaufforderungen bei, aber sie sitzen den größten Teil der Zeit, die ein Modell benötigt, um eine Antwort zu generieren, untätig.

Leistung, Größe und Installation

Stromverbrauch

95 W

Arc Pro A60M ist bewertet mit 95 W. Das Ausführen eines Sprachmodells hält eine GPU-Karte in Intervallen beschäftigt, anstatt kontinuierlich — sie zieht stark während der Generierung und wartet zwischen den Anfragen — daher liegt der nachhaltige Verbrauch über einen Arbeitstag normalerweise deutlich unter dem angegebenen Wert.

Die Karte belegt igp. Es lohnt sich, bereits das Gehäuse und das Netzteil in der Maschine zu überprüfen, da die größten KARTEN erheblich mehr von beidem benötigen, als ein typischer Desktop bereitstellt.

Es verbindet sich über PCIe 4.0 x16. Die Schnittstelle regelt, wie schnell ein Modell von der Festplatte in die Karte geladen wird, nicht wie schnell es dort läuft, daher kostet ein engerer Link ein paar Sekunden beim Start und danach nichts mehr.

Die Extreme

Die größten AI-Modelle, die auf einem Arc Pro A60M

Die größten OPEN WEIGHT Modelle, die auf dieser CARD passen, neueste zuerst. Jedes wird mit der besten Kompression angezeigt, die die CARD halten kann..

  1. 01 OLMo 2 Furious 13B 13B · Q3_K_M · Dec 2024 14.6 tok/s
  2. 02 Cambrian-1-13B 13B · Q3_K_M · Jun 2024 14.6 tok/s
  3. 03 Fugaku-LLM 13B · Q3_K_M · May 2024 14.6 tok/s
  4. 04 OpenThaiGPT v1.0.0 (13B) 13.1B · Q3_K_M · Apr 2024 14.5 tok/s
  5. 05 Aya 13B · Q3_K_M · Feb 2024 14.6 tok/s
  6. 06 Elyza 13B · Q3_K_M · Dec 2023 14.6 tok/s
  7. 07 NexusRaven-V2 13B · Q3_K_M · Dec 2023 14.6 tok/s
  8. 08 Baize-v2-13B (白泽) 13B · Q3_K_M · Dec 2023 14.6 tok/s
  9. 09 Stockmark-13B 13.2B · Q3_K_M · Oct 2023 14.4 tok/s
  10. 10 Baichuan 1-13B 13.3B · Q3_K_M · Jul 2023 14.3 tok/s

Die schnellsten AI-Modelle auf einer Arc Pro A60M

Wo diese Karte die Token am schnellsten produziert. Kleinere Modelle dominieren hier, weil das Generieren jedes Tokens bedeutet, das gesamte Modell einmal aus dem VRAM zu lesen..

  1. 01 Gemma 3 QAT 1B 1B · Q8_0 · 1.8 GB 70.5 tok/s
  2. 02 Gemma 3 1B 1B · Q8_0 · 1.8 GB 70.5 tok/s
  3. 03 LLama 3..2 Typhoon 2 1B 1B · Q8_0 · 1.8 GB 70.5 tok/s
  4. 04 OLMo-1B 1B · Q8_0 · 1.8 GB 70.5 tok/s
  5. 05 HGRN 1B (WT 103) 1B · Q8_0 · 1.8 GB 70.5 tok/s
  6. 06 Pythia-1b 1B · Q8_0 · 1.8 GB 70.5 tok/s
  7. 07 OpenELM-1.1B 1.1B · Q8_0 · 1.9 GB 65.3 tok/s
  8. 08 TinyLlama-1.1B (1T token checkpoint) 1.1B · Q8_0 · 1.9 GB 64.1 tok/s
  9. 09 TinyLlama-1.1B (3T token checkpoint) 1.1B · Q8_0 · 1.9 GB 64.1 tok/s
  10. 10 DeciCoder-1B 1.1B · Q8_0 · 1.9 GB 64.1 tok/s

Schritt für Schritt

Wie man die Tokens pro Sekunde eines Arc Pro A60M

Du musst nichts von Hand berechnen — der gputps.com Rechner auf dieser Seite hat es bereits für jedes Modell, das diese Karte halten kann, herausgefunden. Das Ablesen der Antwort erfordert sechs Schritte..

  1. 01

    Modell: KI-Modell Lauf: KI-Modell ausführen Passt nicht: Passt nicht in GPU VRAM Eng: Kaum lauffähig Komfortabel: Läuft leicht Offenes Gewicht: Open-Source KI-Modell In der Datei: In unserer Datenbank Veröffentlichungen: Neu veröffentlichte GPUs Speicher/Speichergebunden: GPU VRAM/Bandbreite Karte: GPU-Karte Kontextlänge: KI-Kontextfenster

    Die Tabelle listet 337 Modelle, die diese Karte ausführen kann. Nach Namen oder Größe suchen – das Eingeben von 27b stimmt mit der Parameteranzahl überein, auch wenn der Name es nie angibt.

  2. 02

    Setzen Sie die Kontextlänge, die Sie tatsächlich verwenden werden.

    Längere Gespräche kosten Speicher zusätzlich zu den Gewichten. Gegen 8 GB Es ist oft das, was ein großes Modell über die Kante drängt.

  3. 03

    Setzen Sie eine Mindestqualität fest, wenn Sie eine benötigen.

    Standardmäßig wählt die Tabelle die am wenigsten komprimierte Kopie, die passt. Das Festlegen eines Bodens entfernt Modelle, die nur durch starke Kompression qualifiziert sind.

  4. 04

    Nehmen Sie den Bereich als die Antwort.

    Die Zahlen sind berechnet, nicht gemessen. Das schnellste Ergebnis auf dieser Karte ist 70.5 tok/s auf Gemma 3 QAT 1B. Die gleiche Karte und das Modell variieren zwischen dreißig und fünfzig Prozent bei den Inferenzlaufzeiten.

  5. 05

    Überprüfen Sie den Spielraum, bevor Sie entscheiden.

    Die Passform-Spalte trennt Modelle, die gerade so passen, von solchen mit Platz zur Verfügung — es lohnt sich, dies zu überprüfen, bevor man sich für einen entscheidet, gegen einen verfügbaren 8 GB.

  6. 06

    Öffne das Modell, um Karten zu vergleichen

    Jede Modellseite wiederholt diese Berechnung für den gesamten Katalog. Ein Blick wert, bevor man entscheidet: es zeigt, was sonst das gleiche Modell ausführt, neben Arc Pro A60M.

Antworten

Arc Pro A60M — Häufige Fragen

01

Würden zwei Arc Pro A60M Karten doppelt so schnell sein?

Nein. Eine zweite Karte verdoppelt den VRAM auf 16 GB um mit zu arbeiten, anstatt zweimal die Tokens pro Sekunde - jede Zahl hier bezieht sich auf eine einzelne Karte.

02

Arc Pro A60M— Welche AI-Modelle kann es ausführen?

337 des 679 Open-Source-Sprachmodelle, die wir verfolgen, passen auf diese Karte und können lokal ausgeführt werden. Die Tabelle auf dieser Seite listet jedes einzelne auf, mit dem benötigten MEMORY, der QUANTISIERUNG, auf der es läuft, und einer geschätzten Generierungsgeschwindigkeit.

03

Arc Pro A60M— Was ist das größte AI-MODEL, das es ausführen kann?

Das größte Modell in unserem Katalog, das passt, ist Baichuan 1-13B bei 13.3B Parameter, komprimiert auf Q3_K_M. Es generiert ungefähr 14.3 Tokens pro Sekunde und benötigt etwa 7.2 GB des Speichers der Karte.

04

Arc Pro A60M— Wie viele Tokens pro Sekunde produziert es?

Es hängt vom Modell ab. Das schnellste Modell, das wir hier verfolgen, ist Gemma 3 QAT 1B ungefähr 70.5 Tokens pro Sekunde, während größere Modelle verhältnismäßig langsamer laufen, da jedes Token das vollständige Modell einmal aus dem Speicher lesen muss. Geschwindigkeiten sind Schätzungen für ein einzelnes Gespräch gleichzeitig.

05

Arc Pro A60M— Kann es laufen 7B Modelle?

Ja. Es läuft. MetaMath 7B (LLaMa finetune) bei Q4_K_M, verwenden von etwa 6.5 GB VRAM und generieren etwa 23.2 Token pro Sekunde

06

Arc Pro A60M— Kann es laufen 13B Modelle?

Ja. Es läuft. Gemma 4 12B bei Q3_K_M, verwenden von etwa 6.5 GB VRAM und generieren etwa 15.9 Token pro Sekunde

07

Arc Pro A60M— wie viel VRAM hat es?

Diese Karte hat 8 GB von GDDR6. Rund ein Zehntel wird von der Inferenzlaufzeit und dem Treiber reserviert, was ungefähr 7.2 GB verfügbar für ein Modell und dessen Konversation.

08

Arc Pro A60M— Was ist seine Speicherbandbreite?

Der Speicherbandbreite erreicht 256 GB/s über einen Bus von 128 Bits. Dies ist der einzige beste Prädiktor dafür, wie schnell es Text generiert, da das Erzeugen jedes Tokens bedeutet, das gesamte Modell einmal aus dem Speicher zu lesen.

09

Arc Pro A60M— Welche Art von MEMORY verwendet es?

Es verwendet GDDR6 getaktet bei 2 GHz. HBM-Typen sind auf Rechenzentrum-Beschleunigern zu finden und verfügen über weitaus mehr Bandbreite als das GDDR, das auf Desktop-Karten verwendet wird, weshalb sie bei gleicher Kapazität erheblich schneller Tokens erzeugen.

10

Arc Pro A60M— Wer macht es?

Dies ist ein Produkt von Intel, mit dem von ... hergestellten Chip TSMC, einem Prozess von 6 nm.

11

Arc Pro A60M— Wann wurde es veröffentlicht?

Es wurde veröffentlicht in June 2023.

12

Arc Pro A60M— Wie viel Leistung verbraucht es?

Bewertete Boardleistung ist 95 W. Die Textgenerierung erfordert während der Spitzenzeiten viel Leistung und idle zwischen den Anfragen, sodass der durchschnittliche Verbrauch während einer Arbeitssitzung normalerweise weit unter der angegebenen Zahl liegt.

13

Arc Pro A60M— Wie viel Cache hat es?

und der L2-Cache ist 8 MB. Der Cache absorbiert einen Teil des Speicherverkehrs, der sonst den Hauptbus erreichen würde, sodass ein größeres L2 eine bescheidene Steigerung der Generierungsgeschwindigkeit über das hinaus bietet, was die Bandbreite allein vorhersagt.

14

Arc Pro A60M— Was sind seine TFLOPS?

Es ist bewertet mit 10.7 TFLOPS bei halber Genauigkeit und 5.3 TFLOPS bei einfacher Präzision. Dies sind Spitzenarithmetik-Obergrenzen anstelle von erreichbaren Raten, und die Textgenerierung erreicht nur einen kleinen Bruchteil davon, da sie stattdessen durch die Speicherm_bandbreite begrenzt ist.

15

Arc Pro A60M— Unterstützt es CUDA?

Nein. CUDA ist nur für NVIDIA, und dies ist eine Karte von Intel. Es laufen Sprachmodelle über ROCm, Vulkan oder Metal, je nach Software, die weniger ausgereift sind als der CUDA-Pfad — unsere Schätzungen wenden eine Strafe dafür an.

16

Arc Pro A60M— Welche Bus-Schnittstelle verwendet es?

Es verwendet PCIe 4.0 x16. Dies bestimmt, wie schnell ein Modell auf die GPU-Karte geladen wird, anstatt wie schnell es läuft, nachdem es geladen wurde, sodass es beim Start ein paar Sekunden kostet und während der Generierung nichts.

17

Arc Pro A60M— Ist es gut, um lokale AI-Modelle auszuführen?

Seine VRAM begrenzt es auf kleinere Modelle, obwohl seine Bandbreite bedeutet, dass die Generierung bei größeren Modellen langsam wirkt. Insgesamt läuft es 337 der Modelle, die wir verfolgen. Ob das genug ist, hängt ganz davon ab, welches Modell Sie möchten – die obige Tabelle beantwortet das direkt.

18

Arc Pro A60M— kann es ein Modell ausführen, das nicht in seinen VRAM passt?

Es kann aufgeteilt werden, wobei der Überlauf im Systemspeicher jenseits der Karte gehalten wird. 8 GB im System-Speicher sitzen und mit einem Bruchteil der Geschwindigkeit laufen, sodass ein größtenteils ausgelagerter Modell selten den Einsatz wert ist. Jede Zahl hier geht davon aus, dass es vollständig auf der Karte resident ist.

Die andere Richtung

Von der anderen Seite aus betrachten?

Diese Seite beginnt mit der Hardware. Wenn Sie bereits wissen, welches Modell Sie möchten und wissen müssen, was benötigt wird, um es auszuführen., Beginnen Sie mit dem Modell anstelle..

Alle GPUs