GPU TPS kalkulátor

Toto je databáze obsahující 818 grafické karty, filtrované na ty, které mají dostatek VRAM pro uložení jazykového modelu. Každý card má svou vlastní stránku a na té stránce je každý model, který sledujeme, posouzen podle toho — zda se vejde, s jakým kompresí a kolik tokenů za sekundu pravděpodobně vyprodukuje.

Výpočet se provádí, když otevřete GPU kartu, místo aby byl vyhledáván ze uložené tabulky, což umožňuje, aby byla délka kontextu a minimální kvalita věci, které nastavíte, místo aby byly věcmi, které jsme předpokládali vaším jménem. Změňte cokoliv a každé číslo se přepočítá.

Spuštění jazykového modelu na vlastním hardwaru se v krátkém čase stalo běžnou záležitostí. Open-weight modely dostihly dostatečně úroveň, aby byly skutečně užitečné, a nástroje k jejich spuštění přestaly vyžadovat výzkumné zázemí. Co nepřišlo spolu s tím, byla přímá odpověď na první otázku, kterou si každý klade: poběží na kartě, kterou už mám, a bude dostatečně rychlé na to, aby stálo za použití.

Specifikace neodpovídají. Jsou psány pro grafické pracovní zátěže a vedou s čísly, která rozhodují o snímkových frekvencích, což jsou téměř úplně nesprávná čísla. Dvě čísla, která skutečně rozhodují o výsledku, jsou kapacita paměti, která určuje, zda model fit, a šířka pásma paměti, která určuje, jak rychle generuje, jakmile tak učiní.

Tokenů za sekundu je číslo, které vyjadřuje výsledek v něčem, co můžete cítit. Rychlost čtení je někde kolem deseti tokenů za sekundu, takže cokoliv nad tím přichází rychleji, než to můžete přečíst, a cokoliv pod tím vypadá jako čekání. To je číslo, které tato stránka počítá pro každou kombinaci karty a modelu, kterou má.

Paměť v katalogu začíná na 4 GB a dosáhne 288 GB. Ten rozsah je rozdíl mezi kartou omezenou na nejmenší použitelné modely a jednou, která drží modely, na které žádný stolní stroj nedosáhne — kapacita je tvrdá brána spíše než postupný kompromis, takže model buď fits, nebo nerun.

Šířka paměti začíná na 10 GB/s a dosáhne 8,190 GB/s, figura držená Radeon Instinct MI355X. Protože generování každého tokenu znamená přečíst celý model z VRAM najednou, toto rozšíření se téměř přímo promítá do rozšíření v rychlosti generování: karta s desetinásobnou šířkou pásma produkuje tokeny přibližně desetkrát rychleji na stejném modelu.

Karty v katalogu jsou vyrobeny výrobci AMD, ATI, Intel and NVIDIA. Výrobce má větší význam, než by měl: inference software měl mnohem více pozornosti věnované CUDA cestě než jakékoliv jiné, takže karta AMD nebo Intel s ekvivalentní šířkou pásma obvykle dosahuje menší části svého teoretického stropu. Naše odhady uplatňují trest za to, spíše než aby předpokládaly, že hardware je jedinou proměnnou.

Spotřeba energie začíná na 6 W a dosáhne 2,400 W. Horní konec je datacentrový hardware, který desktopový zdroj nedokáže napájet, a je to omezení, které lidé obvykle odhalují jako poslední — poté, co karta vyhovuje rozpočtu a skříni.

Datum vydání začíná na 2009 a spustit na 2025, takže katalog pokrývá hardware, který lidé stále vlastní, stejně jako hardware, který by si mohli koupit. Starší karta není vyloučena jen proto, že je stará — pokud má dostatečné MEMORY, může stále SPUSŤIT model, a stránka uvede, jak rychle.

Prodejci mohou uvádět karty na prodej proti jakémukoli záznamu v tomto katalogu, takže stránka karty může ukazovat jak hardware poběží, tak kde jej lze zakoupit. Inzeráty jsou připojeny k specifické variantě desky spíše než k názvu modelu, což zde hraje větší roli než obvykle — stejné jméno často pokrývá několik kapacit paměti, a kapacita je to, co rozhoduje, které modely běží.