Waar een GPU voor lokale AI te kopen

Elke verkoper die hier is vermeld, verkoopt grafische kaarten die geschikt zijn voor het draaien van taalmodele op je eigen hardware. Dat is een beperktere bewering dan het klinkt: een kaart staat op deze site omdat we de volledige specificatie ervan hebben en kunnen uitvinden welke modellen het kan bevatten en hoe snel het tekst op hen zal genereren. Als je op zoek bent naar hardware om een LLM lokaal uit te voeren in plaats van om games te spelen, dan is dit het segment van de markt dat telt.

Een vermelding is gekoppeld aan een specifieke bordvariant in plaats van aan een kaartnaam, wat een onderscheid is dat hier belangrijker is dan vrijwel ergens anders. Dezelfde naam wordt vaak verkocht in verschillende geheugencapaciteiten, en capaciteit is wat beslist of een model überhaupt past — dus de vermelding waar je naar kijkt benoemt precies het bord dat je zou ontvangen, en linkt naar de pagina die toont wat dat bord draait.

De volgorde die belangrijk is voor inferentie is bijna nooit de volgorde die een gaming benchmark produceert. Het genereren van een token betekent het eenmaal lezen van de gewichten van het model uit het geheugen, dus de twee specificaties die de uitkomst bepalen, zijn hoeveel geheugen de kaart heeft — wat bepaalt of een model überhaupt past — en hoe snel het dat geheugen leest, wat bepaalt hoe snel de tokens komen. Kernentellingen en klok snelheden spelen nauwelijks een rol.

De praktische gevolg is dat een langzamere kaart met meer GEHEUGEN vaak een snellere kaart met minder verslaat, omdat de snellere kaart het MODEL simpelweg niet kan vasthouden. Het is de enige plek waar de goedkoop uitziende optie vaak de juiste is, en de reden waarom een kaartpagina op deze site begint met capaciteit in plaats van met een benchmarkscore.

Bepaal welke CARD je wilt voordat je begint met het vergelijken van prijzen. Open hier een vermelding en je kunt zien hoe die specifieke BOARD presteert en ongeveer hoe snel, wat een betere basis is voor een aankoop dan een hoofdcijfer op een doos.

Prijs is de voor de hand liggende as en de minst complete. Een vermelding toont de prijs en de verzendkosten afzonderlijk omdat beide geld zijn dat besteed is om de card te bezitten, en een lage prijs met dure levering van een ander continent is niet de koop die het lijkt. Waar een card pagina verschillende vermeldingen toont, zijn ze geordend op die totaal in plaats van op het kopcijfer.

Voorbij de prijs: of de kaart op dit moment op voorraad is, in welke staat deze verkeert, hoe lang de garantie loopt, uit welk land deze verzonden wordt, en of er een voeding is inbegrepen — wat meer waard is dan het klinkt bij de grootste kaarten, aangezien ze vaak meer nodig hebben dan een typische desktop voeding biedt. De eigen pagina van een verkoper verzamelt alles wat ze verkopen in één tabel, zodat je kunt zien of ze een specialist zijn of een enkele kaart opnoemen.

Wij verkopen geen hardware, nemen geen betalingen aan, houden geen voorraad aan, of behandelen enig deel van een transactie. Elke aanbieding is gepubliceerd door de verkoper zelf en elke aankoop gebeurt op hun site, onder hun voorwaarden. Niets hier is een aanbeveling van een bepaalde verkoper, en geen verkoper betaalt om te verschijnen of om hoger te ranken — de volgorde is eerst geverifieerde verkopers, daarna wie het meest lijst.

Prijzen worden weergegeven zoals de verkoper ze heeft aangeleverd en kunnen verouderen tussen hun site en deze pagina, dus beschouw het cijfer hier als een startpunt in plaats van een offerte. Uittgaande links dragen geen ranking-signaal, wat een opzettelijke keuze is: een directory die zijn autoriteit aan elke vermelding erin heeft gegeven, zou een linkboerderij in plaats van een referentie zijn.

Wat we toevoegen is het onderdeel dat moeilijk ergens anders te vinden is — het antwoord op wat een bepaalde CARD daadwerkelijk zal RUNNEN, berekend in plaats van geciteerd, met één klik van het aanbod.