Gyakran Ismételt Kérdések

Ez az, hogy egy nyelvi modell milyen gyorsan generál szöveget egy adott GPU-n — hány token (nagyjából, szópillantások) keletkezik másodpercenként, miközben cseveg vele. A nagyobb szám azt jelenti, hogy a válaszok gyorsabban érkeznek.

Várd, hogy a valós szám körülbelül 20–40%-on belül lesz a becsléshez képest. Ugyanaz a GPU és modell ennyire változik az inferencia motorok, motor verziók és szolgáltatási konfigurációk között — egyetlen műszaki adatlap sem jósolja ezt, ezért minden szám ezen az oldalon tartományként van közzétéve, nem pedig egyetlen számként.

A gyártó által közzétett áteresztőképességet általában több száz kérés egyidejű kiszolgálásának mérésével határozzák meg. A mi adatunk egy személy modellhez való beszélgetésére vonatkozik, egy kérés egyszerre — az a szám, ami valójában leírja a modell helyi futtatását. A kettő nem hasonlítható össze.

Hogy a modell súlyai, a beszélgetési gyorsítótár és a futási idő saját költségei mind beleférnek a kártya felhasználható memóriájába egy adott kvantizációnál. Egy modell szűken, kényelmesen vagy egyáltalán nem futhat — megmutatjuk, hogy melyik, valamint mennyi tartalék maradt.

A kvantálás tömöríti a modell súlyait, hogy megtakarítson VRAM-ot, egy kis árat fizetve a kimeneti minőségért. Egy modell, amely teljes pontossággal nem fér el, gyakran kényelmesen elfér egy alacsonyabb kvantáláson — mindig a legjobb minőséget jelentjük, amely egy adott kártyához illeszkedik.

Tízezer KÁRTYA az NVIDIA-tól, AMD-től, Inteltől és Apple Silicon-tól, az adatközponti gyorsítókig a fogyasztói kártyákig. A lefedettség és a becslés magabiztossága a legjobb a modern NVIDIA HARDVEREN, ahol az alapul szolgáló INFERENCIA MOTOROK a legfejlettebbek.

Igen — a GPU-k, modellek és minden becslés böngészése a webhelyen ingyenes, fiók nélkül.

Regisztráljon ingyenes eladó fiókot, és adja hozzá a listáit - ezek közvetlenül a megfelelő kártya oldalán jelennek meg. Tekintse meg a váltás eladóvá oldalt, hogy megismerje a működését és a jelenlegi árakat.