GPU TPS számológép

Ez egy adatbázis, amely tárolja 818 grafikus kártyák, amelyek le vannak szűrve azokra, amelyek elég memóriával rendelkeznek egy nyelvi modell tárolásához. Minden kártyának megvan a saját oldala, és azon az oldalon minden modell, amit nyomon követünk, fel van mérve vele szemben — hogy illeszkedik-e, milyen tömörítéssel, és hogy hány tokent valószínű, hogy másodpercenként előállít.

A számítás akkor fut, amikor egy KÁRT nyitsz meg, ahelyett, hogy egy tárolt táblázatból lenne lekérdezve, ami lehetővé teszi, hogy a KONTEXTUS HOSSZA és a minimális minőség olyan dolgok legyenek, amelyeket te állítasz be, ahelyett, hogy olyan dolgok lennének, amelyeket a te nevedben feltételeztünk. Változtasd meg bármelyiket, és minden adat újraszámítódik.

A nyelvi modell futtatása a saját hardveren gyors időn belül mindennapi dologgá vált. Az open weight modellek eléggé fejlődtek ahhoz, hogy valóban hasznosak legyenek, és a futtatásukhoz szükséges eszközök már nem igényeltek kutatási hátteret. Ami nem érkezett meg ezzel párhuzamosan, az a válasz az első kérdésre, amit bárki feltesz: fog-e futni a már meglévő kártyámon, és elég gyors lesz-e ahhoz, hogy érdemes legyen használni.

A specifikációs lapok nem válaszolnak erre. Grafikai munkaterhelésekhez íródtak, és azokat a számokat tartalmazzák, amelyek a képfrissítési sebességet határozzák meg, amelyek szinte teljesen tévesek. Két szám dönt valóban az eredményről: a memória kapacitás, amely meghatározza, hogy egy modell elfér-e, és a memória sávszélesség, amely meghatározza, hogy milyen gyorsan generál, miután ez megtörténik.

A másodpercenkénti tokenek száma az a szám, amely kifejezi az eredményt valami olyanban, amit érezhetsz. Az olvasási sebesség körülbelül tíz token per másodperc, így bármi, ami fölötte van, gyorsabban érkezik, mint ahogy el tudod olvasni, és bármi, ami jól alatta van, úgy érzed, hogy várakozol. Ez a szám az, amit ez az oldal kiszámít, minden kártya és modell kombinációjára, amit tárol.

A katalógusban a memória kezdődik a 4 GB és eléri 288 GB. Ez a tartomány a legkisebb használható modellekre korlátozott kártya és egy olyan kártya közötti különbség, amely olyan modelleket tartalmaz, amelyeket egyetlen asztali gép sem tud elérni — a kapacitás egy kemény korlát, nem pedig fokozatos kompromisszum, így egy modell vagy belefér, vagy nem fut.

A memóriávágási szélesség kezdődik a 10 GB/s és eléri 8,190 GB/s, egy figura által tartva Radeon Instinct MI355X. Mivel minden egyes token előállítása azt jelenti, hogy a teljes modellt egyszer olvassuk ki a memóriából, ez a szélesség szinte közvetlenül lefordítható a generálási sebesség szélességére: egy kártya, amely tízszeres sávszélességgel rendelkezik, körülbelül tízszer gyorsabban állít elő tokeneket ugyanazon a modellen.

A katalógusban szereplő KÁRTYÁK a következő gyártók által készültek: AMD, ATI, Intel and NVIDIA. A gyártó fontosabb, mint kellene: a következtetési szoftver a CUDA útnak sokkal több figyelmet szentelt, mint bármely másiknak, így egy AMD vagy Intel kártya, amelynek sávszélessége egyenértékű, általában kisebb részesedést ér el elméleti plafonjából. A mi becsléseink büntetést alkalmaznak erre, ahelyett hogy azt tettetnék, hogy a hardver az egyetlen változó.

A teljesítményfelvétel kezdődik 6 W és eléri 2,400 W. A felső határ a datacenter hardver, amelyet egy asztali tápegység nem tud ellátni, és ez az a korlátozás, amelyet az emberek hajlamosak utoljára felfedezni — miután a kártya belefér a költségvetésbe és az házba.

A kiadási dátumok kezdődnek 2009 és fut a 2025, Így a katalógus lefedi azokat a hardvereket, amelyeket az emberek még mindig birtokolnak, valamint azokat a hardvereket, amelyeket megvásárolhatnak. Egy régi card nem kerül kizárásra azért, mert régi – ha rendelkezik a MEMORY-val, még mindig képes futtatni egy AI MODÉLT, és az oldal meg fogja mutatni, milyen gyorsan.

A forgalmazók bármely tétel ellenében listázhatnak kártyákat eladásra ebben a katalógusban, így egy kártyaoldal megmutathatja, hogy a hardver mit fut, és hol vásárolható meg. A listázások a konkrét alaplap-változathoz kapcsolódnak, nem pedig egy modell névhez, ami itt fontosabb, mint általában — a same name gyakran több memória kapacitást fed le, és a kapacitás az, ami eldönti, hogy mely modellek futnak.