Berechne die TPS des Jetson Orin NX 8 GB auf lokalen KI-Modellen
Jedes Modell in unserem Katalog wurde anhand dieser Karte für das Kontextlängen und die Mindestqualität, die Sie wählen, bewertet. Die Geschwindigkeit ist eine Schätzung für eine einzelne Anfrage, berechnet aus der Speicherbandbreite dieser Karte und der Größe jedes Modells nach der Kompression..
Berechnet für diese Karte
679 Modelle in unserem Katalog insgesamt
Das größte Modell, das es hält
Baichuan 1-13B
13.3B · Q3_K_M · 8.8 tok/s
Schnellstes Modell
Gemma 3 QAT 1B
43.4 tok/s · 1B
Welche KI-Modelle können auf einem Jetson Orin NX 8 GB?
Setze die Eingaben, lies die Antwort
Mehr Kontext bedeutet mehr Speicher für den Gesprächs-Cache. Die Geschwindigkeit ist für ein frisches Gespräch und ändert sich nicht mit dieser Einstellung..
Blendet Modelle aus, die nur passen würden, wenn sie unter diesen Punkt komprimiert werden..
337 Modelle passen
Berechnung| Quantisierung | Passend | ||||||
|---|---|---|---|---|---|---|---|
|
43.4
tok/s
37–52 |
Gemma 3 1B | 1B | Mar 2025 | 1.8 GB | 33k Token | Q8_0 | Komfortabel |
|
43.4
tok/s
37–52 |
Gemma 3 QAT 1B | 1B | Apr 2025 | 1.8 GB | 33k Token | Q8_0 | Komfortabel |
|
43.4
tok/s
26–69 · niedrige Vertrauenswürdigkeit |
HGRN 1B (WT 103) ≈ | 1B | Nov 2023 | 1.8 GB | 131k Token ? | Q8_0 | Komfortabel |
|
43.4
tok/s
26–69 · niedrige Vertrauenswürdigkeit |
LLama 3..2 Typhoon 2 1B ≈ | 1B | Dec 2024 | 1.8 GB | 131k Token ? | Q8_0 | Komfortabel |
|
43.4
tok/s
26–69 · niedrige Vertrauenswürdigkeit |
OLMo-1B ≈ | 1B | Feb 2024 | 1.8 GB | 131k Token ? | Q8_0 | Komfortabel |
|
43.4
tok/s
26–69 · niedrige Vertrauenswürdigkeit |
Pythia-1b ≈ | 1B | Apr 2023 | 1.8 GB | 131k Token ? | Q8_0 | Komfortabel |
|
40.2
tok/s
24–64 · niedrige Vertrauenswürdigkeit |
OpenELM-1.1B ≈ | 1.1B | May 2024 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
39.4
tok/s
24–63 · niedrige Vertrauenswürdigkeit |
DeciCoder-1B ≈ | 1.1B | Aug 2023 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
39.4
tok/s
24–63 · niedrige Vertrauenswürdigkeit |
SantaCoder ≈ | 1.1B | Jan 2023 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
39.4
tok/s
24–63 · niedrige Vertrauenswürdigkeit |
TinyLlama-1.1B (1T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
39.4
tok/s
24–63 · niedrige Vertrauenswürdigkeit |
TinyLlama-1.1B (3T token checkpoint) ≈ | 1.1B | Oct 2023 | 1.9 GB | 131k Token ? | Q8_0 | Komfortabel |
|
36.1
tok/s
22–58 · niedrige Vertrauenswürdigkeit |
EXAONE 4.0 (1.2B) ≈ | 1.2B | Jul 2025 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
36.1
tok/s
22–58 · niedrige Vertrauenswürdigkeit |
MinerU2.5 ≈ | 1.2B | Sep 2025 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
36.1
tok/s
22–58 · niedrige Vertrauenswürdigkeit |
Pleias 1.0 1.2B ≈ | 1.2B | Dec 2024 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
36.1
tok/s
22–58 · niedrige Vertrauenswürdigkeit |
Pleias-RAG-1B ≈ | 1.2B | Apr 2025 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
35.3
tok/s
30–42 |
Llama 3.2 1B | 1.2B | Sep 2024 | 2.2 GB | 131k Token | Q8_0 | Komfortabel |
|
34.8
tok/s
21–56 · niedrige Vertrauenswürdigkeit |
MiniCPM-1.2B ≈ | 1.2B | Jun 2024 | 2.0 GB | 131k Token ? | Q8_0 | Komfortabel |
|
33.4
tok/s
20–53 · niedrige Vertrauenswürdigkeit |
DeepSeek Coder 1.3B ≈ | 1.3B | Jan 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
33.4
tok/s
20–53 · niedrige Vertrauenswürdigkeit |
DeepSeek-VL-1.3B ≈ | 1.3B | Mar 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
33.4
tok/s
20–53 · niedrige Vertrauenswürdigkeit |
DigiRL ≈ | 1.3B | Jun 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
33.4
tok/s
20–53 · niedrige Vertrauenswürdigkeit |
GLA Transformer 1.3B ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
33.4
tok/s
20–53 · niedrige Vertrauenswürdigkeit |
Janus 1.3B ≈ | 1.3B | Oct 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
33.4
tok/s
20–53 · niedrige Vertrauenswürdigkeit |
Kosmos-2.5 ≈ | 1.3B | Aug 2024 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
33.4
tok/s
20–53 · niedrige Vertrauenswürdigkeit |
Otter ≈ | 1.3B | May 2023 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
|
33.4
tok/s
20–53 · niedrige Vertrauenswürdigkeit |
Phi-1 ≈ | 1.3B | Oct 2023 | 2.1 GB | 131k Token ? | Q8_0 | Komfortabel |
Die Geschwindigkeiten sind Schätzungen für eine einzelne Anfrage — ein Gespräch zur Zeit — berechnet aus BANDWIDTH, MODELLGRÖSSE und QUANTISIERUNG. Der tatsächliche Durchsatz variiert mit der INFERENZLAUFZEIT und ihrer Version. Zahlen, die von Hardwareanbietern veröffentlicht wurden, messen viele gleichzeitige Anfragen und sind viel höher..
Aufgezeichnet
Jetson Orin NX 8 GB Volle Spezifikation
Alles auf Datei für dieses Board, geordnet danach, wie sehr es das Ausführen eines Sprachmodells beeinflusst, anstatt wie es in einem Datenblatt aufgeführt wäre. MEMORY kommt zuerst, weil es das Ergebnis bestimmt; der Rest ist CONTEXT..
Speicher
Die beiden Spezifikationen, die entscheiden, was diese CARD ausführen kann und wie schnell. Die Kapazität legt fest, welche Modelle passen; die Bandbreite bestimmt, wie viele Tokens pro Sekunde sie produzieren, sobald sie passen.
- Speicherkapazität
- 8 GB
- Speicherbandbreite
- 102 GB/s
- Speichertype
- LPDDR5
- Speicherdatenbreite
- 128 bit
- Speichertakt
- 800 MHz
Der Chip
Welcher Prozessor sich auf der Platine befindet und wie er hergestellt wurde. Eine kleinere Prozessgröße bedeutet allgemein mehr Leistung bei gleicher Energie.
- Grafikprozessor
- GA10B
- Architektur
- Ampere
- Generierung
- Tegra(Ampere)
- Gießerei
- Samsung
- Prozessgröße
- 8 nm
- Die Größe
- 200 mm²
- Veröffentlicht
- 1 March 2023
Taktfrequenzen
Wie schnell der Prozessor läuft. Hier weit weniger wert als bei einem Gaming-Benchmark: Die Textgenerierung ist durch die Speicherbandbreite begrenzt, sodass eine höhere Taktfrequenz das Ergebnis kaum verbessert.
- Basis-Takt
- 765 MHz
- Boost-Takt
- 765 MHz
Verarbeitungseinheiten
Was der Chip enthält. Diese treiben die Grafikleistung und sind hauptsächlich für die Verarbeitung eines langen Prompts wichtig, statt für die Produktion der Antwort.
- Shader-Einheiten
- 1,024
- Texturzuordnungseinheiten
- 32
- Render-Ausgabeeinheiten
- 16
- Streaming-Multiprozessoren
- 8
- Tensor-Kerne
- 32
- L1-Cache
- 128 KB
- L2-Cache
- 4 MB
Theoretische Leistung
Die veröffentlichten Spitzenarithmetikraten für die Karte. Dies sind Obergrenzen, die keine echte Arbeitslast erreicht, und das Generieren von Text erreicht nur einen kleinen Bruchteil davon, da es durch den Speicher und nicht durch die Arithmetik limitiert ist.
- Halbpräzision (FP16)
- 3.1 TFLOPS
- Einfache Genauigkeit (FP32)
- 1.6 TFLOPS
- Pixelrate
- 12 GPixel/s
- Texturrate
- 24 GTexel/s
Die Platine
Was erforderlich ist, um die KArte physisch zu installieren und mit Strom zu versorgen — die praktischen Einschränkungen, die entscheiden, ob sie in die Maschine passt, die Sie bereits besitzen.
- Leistungsaufnahme (TDP)
- 20 W
- Bus-Schnittstelle
- PCIe 4.0 x4
- Slot-Breite
- IGP
- Dimensionen
- 70 mm
Software-Unterstützung
Welche Grafik- und Rechen-Schnittstellen die Karte unterstützt. CUDA-Rechenfähigkeit betrifft die Inferenz: unter 7.0 gibt es keine Tensor-Kerne, und moderne Inferenz-Software greift auf langsamere Code-Pfade zurück.
- CUDA Berechnungsfähigkeit
- 8.7
- DirectX
- 12.2
- OpenGL
- 4.6
- Vulkan
- 1.4
- OpenCL
- 3.0
- Shader-Modell
- 6.8
Auflistungen
Wo man ein Jetson Orin NX 8 GB
Derzeit listet kein Anbieter diese Karte. Die Angebote stammen von Anbietern, die sie hier direkt veröffentlichen. — Durchsuche das Anbieter-Verzeichnis zu sehen, wer was verkauft.
Was die Zahlen bedeuten
Kapazität und Bandbreite
Speicher
8 GB
Bandbreite
102 GB/s
Größtes Modell
Baichuan 1-13B
Jetson Orin NX 8 GB trägt nur 8 GB von LPDDR5. Das begrenzt es auf das kleinere Ende des Katalogs, und ein Modell muss vollständig hineinpassen, bevor es überhaupt etwas generiert. Ein Laufzeit erhält tatsächlich etwa 7.2 GB.
Der Speicherbandbreite erreicht 102 GB/s über einen Bus von 128 Bits. Die Bandbreite ist die echte Einschränkung dieser Karte. Jedes Token erfordert das gesamte Modell aus dem Speicher zu lesen, daher wird sich ein großes Modell hier sogar langsam anfühlen, selbst wenn es passt.
Die Zahl ist die Busbreite multipliziert mit einer Speicher-Taktfrequenz von 800 MHz. Das Verbreitern des Busses und das Anheben der Taktfrequenz sind die beiden Hebel, die ein Hersteller hat, weshalb eine Karte mit unauffälligen Kernen trotzdem schnell erzeugen kann.
In der Praxis erreicht diese Kombination ein Maximum bei Baichuan 1-13B, 13.3B, komprimiert auf Q3_K_M und generieren etwa 8.8 Token pro Sekunde
Der Chip und wie er gebaut wurde
Jetson Orin NX 8 GB ist auf dem Grafikprozessor aufgebaut GA10B, die Architektur verwenden Ampere von NVIDIA, als Teil der Generierung Tegra(Ampere).
Der Chip wird hergestellt von Samsung, einem Prozess von 8 nm, mit einem Maß von 200 mm². Ein kleinerer Prozess bedeutet im Allgemeinen mehr Leistung für die gleiche Energie, obwohl es bei Sprachmodellen weit weniger von Bedeutung ist als das MEMORY-SUBSYSTEM.
Es wurde veröffentlicht in March 2023, grob 3.4190308176969 vor Jahren. Die Unterstützung von Inference-Software folgt in der Regel ein oder zwei Jahre hinter der Hardware, sodass eine Karte dieses Alters normalerweise über ausgereifte, gut optimierte Codepfade verfügt.
Rechen-Durchsatz, und warum er weniger wichtig ist, als er aussieht
FP16
3.1 TFLOPS
Tensor-Kerne
32
Auf Papier Jetson Orin NX 8 GB erreicht 3.1 TFLOPS bei halber Genauigkeit, und 1.6 TFLOPS bei einfacher Genauigkeit. Dies sind Spitzenwerte, keine echten Workloads, die diese erreichen, und die Generierung von Text erreicht nur einen kleinen Bruchteil davon – das Decodieren ist durch die MEMORY und nicht durch die Arithmetik begrenzt, weshalb eine CARD hier enorm leistungsfähig erscheinen kann und trotzdem Tokens in einem gewöhnlichen Tempo produziert.
Die Karte trägt 32 Tensor-Kerne über 8 Streaming-Multiprozessoren. Diese beschleunigen die Matrixarithmetik im Herzen eines Transformators, und sie sind es, die die Eingabeverarbeitung – das Lesen eines langen Dokuments vor der Beantwortung – dramatisch schneller machen, als es sonst der Fall wäre.
Die Taktraten laufen von einer Basis von 765 MHz zu einem Schub von 765 MHz. Hier weit weniger wert als bei einem Gaming-Benchmark: das Anheben der Taktgeschwindigkeiten steigert die Arithmetik, und die Arithmetik ist nicht das, worauf die Generation wartet.
Cache und Verarbeitungseinheiten
Jetson Orin NX 8 GB hat einen L1-Cache von 128 KB, unterstützt von einem L2-Cache von 4 MB. Cache absorbiert einen Teil des MEMORY-Traffics, der ansonsten den MAIN BUS treffen würde, was der einzige Ort auf dieser Seite ist, an dem eine Zahl außer BANDWIDTH leise die GENERATIONSGESCHWINDIGKEIT beeinflusst — ein großes L2 lässt mehr des WORKING SETS nah an den CORES bleiben.
Es gibt 1,024 Shader-Einheiten, 32 Texturzuordnungseinheiten, und 16 Render-Ausgabeeinheiten. Diese treiben Grafikarbeitslasten und tragen zur Verarbeitung von Eingabeaufforderungen bei, aber sie sitzen den größten Teil der Zeit, die ein Modell benötigt, um eine Antwort zu generieren, untätig.
Leistung, Größe und Installation
Stromverbrauch
20 W
Jetson Orin NX 8 GB ist bewertet mit 20 W. Das Ausführen eines Sprachmodells hält eine GPU-Karte in Intervallen beschäftigt, anstatt kontinuierlich — sie zieht stark während der Generierung und wartet zwischen den Anfragen — daher liegt der nachhaltige Verbrauch über einen Arbeitstag normalerweise deutlich unter dem angegebenen Wert.
Die Karte belegt igp, messen 70 mm lang. Es lohnt sich, bereits das Gehäuse und das Netzteil in der Maschine zu überprüfen, da die größten KARTEN erheblich mehr von beidem benötigen, als ein typischer Desktop bereitstellt.
Es verbindet sich über PCIe 4.0 x4. Die Schnittstelle regelt, wie schnell ein Modell von der Festplatte in die Karte geladen wird, nicht wie schnell es dort läuft, daher kostet ein engerer Link ein paar Sekunden beim Start und danach nichts mehr.
Die Extreme
Die größten AI-Modelle, die auf einem Jetson Orin NX 8 GB
Die größten OPEN WEIGHT Modelle, die auf dieser CARD passen, neueste zuerst. Jedes wird mit der besten Kompression angezeigt, die die CARD halten kann..
Die schnellsten AI-Modelle auf einer Jetson Orin NX 8 GB
Wo diese Karte die Token am schnellsten produziert. Kleinere Modelle dominieren hier, weil das Generieren jedes Tokens bedeutet, das gesamte Modell einmal aus dem VRAM zu lesen..
Schritt für Schritt
Wie man die Tokens pro Sekunde eines Jetson Orin NX 8 GB
Du musst nichts von Hand berechnen — der gputps.com Rechner auf dieser Seite hat es bereits für jedes Modell, das diese Karte halten kann, herausgefunden. Das Ablesen der Antwort erfordert sechs Schritte..
-
01
Finde das Modell in der Tabelle
Die Tabelle listet 337 Modelle, die diese Karte ausführt. Die Suche verfeinert die Liste nach Namen oder nach Größe.
-
02
Setzen Sie die Kontextlänge, die Sie tatsächlich verwenden werden.
Setzen Sie den Kontext auf Ihre tatsächliche Arbeitslänge. Kurze Fragen kosten fast nichts, aber ein langes Dokument kann einen großen Teil von 8 GB das ist häufig der Unterschied zwischen einem Modell, das passt, und einem, das nicht passt.
-
03
Wählen Sie, wie weit Sie komprimieren möchten.
Jedes Modell wird in der besten Kompression angezeigt, die diese Karte halten kann. Eine minimale Qualität verbirgt die, die nur passen, indem sie weiter zusammengepresst werden, als Sie akzeptieren würden.
-
04
Lese die Geschwindigkeit und die Reichweite
Die Zahlen sind berechnet, nicht gemessen. Das schnellste Ergebnis auf dieser Karte ist 43.4 tok/s auf Gemma 3 QAT 1B. Die gleiche Karte und das Modell variieren zwischen dreißig und fünfzig Prozent bei den Inferenzlaufzeiten.
-
05
Überprüfen Sie die VRAM-Spalte, bevor Sie committen.
Tight bedeutet, dass es heute funktioniert; comfortable bedeutet, dass es weiterhin funktioniert, wenn das Gespräch wächst. Vergleiche, was jedes Modell benötigt, mit dem, was verfügbar ist. 8 GB.
-
06
Öffne das Modell, um Karten zu vergleichen
Ein Modell bis zu seiner eigenen Seite zu verfolgen, listet alle Hardware auf, die es ausführen kann, sodass Sie sehen können, wie es im Vergleich zu Jetson Orin NX 8 GB.
Antworten
Jetson Orin NX 8 GB — Häufige Fragen
Jetson Orin NX 8 GB— Wie viele Tensor-Kerne hat es?
Es hat 32 Tensor-Kerne über 8 Streaming-Multiprozessoren. Sie beschleunigen die Matrixarithmetik, aus der ein Transformer besteht, was hauptsächlich die Verarbeitung eines langen Prompts beschleunigt, anstatt die Antwort zu erzeugen.
Jetson Orin NX 8 GB— Unterstützt es CUDA?
Ja. Es berichtet über die CUDA-Berechnungskompetenz 8.7. Die Fähigkeit 7.0 und höher verfügt über Tensor-Kerne, die von moderner Inferenzsoftware verwendet werden; darunter greift sie auf langsamere Code-Pfade für quantisierte Modelle zurück.
Jetson Orin NX 8 GB— Welche Bus-Schnittstelle verwendet es?
Es verwendet PCIe 4.0 x4. Dies bestimmt, wie schnell ein Modell auf die GPU-Karte geladen wird, anstatt wie schnell es läuft, nachdem es geladen wurde, sodass es beim Start ein paar Sekunden kostet und während der Generierung nichts.
Jetson Orin NX 8 GB— Ist es gut, um lokale AI-Modelle auszuführen?
Seine VRAM begrenzt es auf kleinere Modelle, obwohl seine Bandbreite bedeutet, dass die Generierung bei größeren Modellen langsam wirkt. Insgesamt läuft es 337 der Modelle, die wir verfolgen. Ob das genug ist, hängt ganz davon ab, welches Modell Sie möchten – die obige Tabelle beantwortet das direkt.
Jetson Orin NX 8 GB— kann es ein Modell ausführen, das nicht in seinen VRAM passt?
Das Auslagern über die Karte hinaus 8 GB im System-Speicher sitzen und mit einem Bruchteil der Geschwindigkeit laufen, sodass ein größtenteils ausgelagerter Modell selten den Einsatz wert ist. Jede Zahl hier geht davon aus, dass es vollständig auf der Karte resident ist.
Würden zwei Jetson Orin NX 8 GB Karten doppelt so schnell sein?
Kapazität addiert, Durchsatz nicht. Zwei von ihnen geben Ihnen 16 GB von kombinierter VRAM, bei etwa der gleichen Generation Geschwindigkeit wie eine.
Jetson Orin NX 8 GB— Welche AI-Modelle kann es ausführen?
337 des 679 Open-Source-Sprachmodelle, die wir verfolgen, passen auf diese Karte und können lokal ausgeführt werden. Die Tabelle auf dieser Seite listet jedes einzelne auf, mit dem benötigten MEMORY, der QUANTISIERUNG, auf der es läuft, und einer geschätzten Generierungsgeschwindigkeit.
Jetson Orin NX 8 GB— Was ist das größte AI-MODEL, das es ausführen kann?
Das größte Modell in unserem Katalog, das passt, ist Baichuan 1-13B bei 13.3B Parameter, komprimiert auf Q3_K_M. Es generiert ungefähr 8.8 Tokens pro Sekunde und benötigt etwa 7.2 GB des Speichers der Karte.
Jetson Orin NX 8 GB— Wie viele Tokens pro Sekunde produziert es?
Es hängt vom Modell ab. Das schnellste Modell, das wir hier verfolgen, ist Gemma 3 QAT 1B ungefähr 43.4 Tokens pro Sekunde, während größere Modelle verhältnismäßig langsamer laufen, da jedes Token das vollständige Modell einmal aus dem Speicher lesen muss. Geschwindigkeiten sind Schätzungen für ein einzelnes Gespräch gleichzeitig.
Jetson Orin NX 8 GB— Kann es laufen 7B Modelle?
Ja. Es läuft. MetaMath 7B (LLaMa finetune) bei Q4_K_M, verwenden von etwa 6.5 GB VRAM und generieren etwa 14.3 Token pro Sekunde
Jetson Orin NX 8 GB— Kann es laufen 13B Modelle?
Ja. Es läuft. Gemma 4 12B bei Q3_K_M, verwenden von etwa 6.5 GB VRAM und generieren etwa 9.8 Token pro Sekunde
Jetson Orin NX 8 GB— wie viel VRAM hat es?
Diese Karte hat 8 GB von LPDDR5. Rund ein Zehntel wird von der Inferenzlaufzeit und dem Treiber reserviert, was ungefähr 7.2 GB verfügbar für ein Modell und dessen Konversation.
Jetson Orin NX 8 GB— Was ist seine Speicherbandbreite?
Der Speicherbandbreite erreicht 102 GB/s über einen Bus von 128 Bits. Dies ist der einzige beste Prädiktor dafür, wie schnell es Text generiert, da das Erzeugen jedes Tokens bedeutet, das gesamte Modell einmal aus dem Speicher zu lesen.
Jetson Orin NX 8 GB— Welche Art von MEMORY verwendet es?
Es verwendet LPDDR5 getaktet bei 800 MHz. HBM-Typen sind auf Rechenzentrum-Beschleunigern zu finden und verfügen über weitaus mehr Bandbreite als das GDDR, das auf Desktop-Karten verwendet wird, weshalb sie bei gleicher Kapazität erheblich schneller Tokens erzeugen.
Jetson Orin NX 8 GB— Wer macht es?
Dies ist ein Produkt von NVIDIA, mit dem von ... hergestellten Chip Samsung, einem Prozess von 8 nm.
Jetson Orin NX 8 GB— Wann wurde es veröffentlicht?
Es wurde veröffentlicht in March 2023.
Jetson Orin NX 8 GB— Wie viel Leistung verbraucht es?
Bewertete Boardleistung ist 20 W. Die Textgenerierung erfordert während der Spitzenzeiten viel Leistung und idle zwischen den Anfragen, sodass der durchschnittliche Verbrauch während einer Arbeitssitzung normalerweise weit unter der angegebenen Zahl liegt.
Jetson Orin NX 8 GB— Wie viel Cache hat es?
Der L1-Cache ist 128 KB, und der L2-Cache ist 4 MB. Der Cache absorbiert einen Teil des Speicherverkehrs, der sonst den Hauptbus erreichen würde, sodass ein größeres L2 eine bescheidene Steigerung der Generierungsgeschwindigkeit über das hinaus bietet, was die Bandbreite allein vorhersagt.
Jetson Orin NX 8 GB— Was sind seine TFLOPS?
Es ist bewertet mit 3.1 TFLOPS bei halber Genauigkeit und 1.6 TFLOPS bei einfacher Präzision. Dies sind Spitzenarithmetik-Obergrenzen anstelle von erreichbaren Raten, und die Textgenerierung erreicht nur einen kleinen Bruchteil davon, da sie stattdessen durch die Speicherm_bandbreite begrenzt ist.
Die andere Richtung
Von der anderen Seite aus betrachten?
Diese Seite beginnt mit der Hardware. Wenn Sie bereits wissen, welches Modell Sie möchten und wissen müssen, was benötigt wird, um es auszuführen., Beginnen Sie mit dem Modell anstelle..