Často kladené otázky

Je to rychlost, jakou jazykový model generuje text na daném GPU – kolik tokenů (hrubě, kousků slov) vyprodukuje za sekundu, když s ním chatíte. Vyšší číslo znamená, že odpovědi plynou rychleji.

Očekávejte, že skutečná hodnota se pohybuje přibližně v rozmezí 20–40% od odhadu. Stejný GPU a model se liší mezi inference enginy, verzemi enginů a konfigurací servírování – žádný specifikační list to nepředpovídá, a proto je každá hodnota na této stránce publikována jako rozsah, nikoli jako jednotlivé číslo.

Propagovaná propustnost publikovaná dodavatelem se obvykle měří při obsluze stovek požadavků najednou. Naše číslo je pro jednu osobu, která mluví s modelem, jeden požadavek najednou — číslo, které skutečně popisuje spuštění modelu lokálně. Obě hodnoty nejsou srovnatelné.

Že váhy modelu, jeho konverzační cache a vlastní overhead runtime se vejdou do použitelné paměti karty při dané kvantizaci. Model se může vejít těsně, pohodlně nebo vůbec — ukazujeme, který, spolu s tím, kolik prostoru zbývá.

Kvantizace komprimuje váhy modelu, aby ušetřila VRAM, s malým nákladem na kvalitu výstupu. Model, který se nevejde při plné přesnosti, se často pohodlně vejde při nižší kvantizaci — vždy uvádíme nejlepší kvalitu, která se vejde na danou GPU kartu.

Tisíce karet od NVIDIA, AMD, Intel a Apple Silicon, od datových akcelerátorů až po spotřebitelské karty. Pokrytí a odhad důvěry jsou nejlepší na moderním hardwaru NVIDIA, kde jsou základní inference enginy nejvyspělejší.

Ano — procházení GPU, modelů a každého odhadu na webu je zdarma, není nutný účet.

Zaregistrujte si bezplatný účet pro dodavatele a přidejte své nabídky — ty se zobrazují přímo na stránce odpovídající karty. Podívejte se na stránku stát-se-dodavatelem, jak to funguje a aktuální ceny.