Kde koupit GPU pro místní AI

Každý prodejce uvedený zde prodává grafické karty vhodné pro běh jazykových modelů na vašem vlastním hardwaru. To je užší tvrzení, než se zdá: karta je na této stránce, protože máme její úplnou specifikaci a můžeme zjistit, které modely může držet a jak rychle na nich bude generovat text. Pokud hledáte hardware pro běh LLM lokálně spíše než pro hraní her, toto je část trhu, která je důležitá.

Seznam je připojen ke konkrétní variantě desky spíše než k názvu karty, což je rozlišení, které zde má větší význam než téměř kdekoli jinde. Stejný název je často prodáván v několika kapacitách paměti, a kapacita rozhoduje o tom, zda model vůbec zapadne — takže seznam, na který se díváte, uvádí přesně desku, kterou byste obdrželi, a odkazuje na stránku ukazující, co ta deska spustí.

Pořadí, které je důležité pro inferenci, téměř nikdy není to pořadí, které produkuje gamingový benchmark. Generování tokenu znamená přečíst váhy modelu z paměti jednou, takže dvě specifikace, které určují výsledek, jsou, kolik paměti má karta — což určuje, zda model vůbec fituje — a jak rychle tu paměť čte, což určuje, jak rychle tokeny vycházejí. Počty jader a hodinové frekvence se téměř nezapočítávají.

Praktickým důsledkem je, že pomalejší KARTA s více MEMORY často porazí rychlejší KARTU s méně, protože rychlejší KARTA jednoduše nemůže udržet model. Je to jediné místo, kde je často levně vypadající varianta tou správnou, a důvod, proč stránka KARTY na této stránce začíná kapacitou namísto benchmarkového skóre.

Zjistěte, kterou KARTU chcete, než začnete porovnávat ceny. Otevřete jakýkoli seznam zde a můžete vidět, jak přesně ta deska funguje a přibližně jak rychle, což je lepší základ pro nákup než hlavní číslo na krabici.

Cena je zřejmý osy a nejméně úplná. Seznam zobrazuje cenu a náklady na dopravu odděleně, protože oboje jsou peníze vynaložené na vlastnictví karty, a nízká cena s drahou dopravou z jiného kontinentu není tak výhodná, jak se zdá. Když stránka karty zobrazuje několik seznamů, jsou seřazeny podle tohoto celkového, spíše než podle hlavní částky.

Nad cenou: zda je karta aktuálně skladem, v jakém stavu se nachází, jak dlouho záruka platí, z které země se odesílá a zda je zahrnutá napájecí zdroj — což má větší hodnotu, než jak to zní u největších karet, protože často potřebují více, než běžný desktopový zdroj poskytuje. Stránka prodejce shromažďuje vše, co prodávají, v jedné tabulce, takže můžete vidět, zda jsou specialisté nebo zda uvádějí pouze jednu kartu.

Hardware neprodáváme, nebereme platby, nedržíme zásoby ani se nezabýváme žádnou částí transakce. Každý inzerát zveřejňuje sám dodavatel a každý nákup probíhá na jeho stránkách, podle jeho podmínek. Nic zde není doporučení konkrétního prodejce a žádný dodavatel neplatí za to, aby se objevil nebo byl výše v pořadí — první jsou ověření dodavatelé, poté kdo nejvíce inzeruje.

Ceny jsou uváděny tak, jak je dodal dodavatel, a mohou se mezi jejich stránkami a touto stránkou zastarat, takže berte tuto částku jako výchozí bod spíše než jako nabídku. Odkazy na externí weby nenesou žádný signál hodnocení, což je záměrná volba: adresář, který by předal svou autoritu každému zápisu v něm, by byl farmou odkazů spíše než referencí.

Co přidáváme, je část, kterou je těžké najít jinde — odpověď na to, co daná KARTA skutečně poběží, vypočítaná spíše než citovaná, nacházející se na jeden klik od nabídky.