AI modellek és a GPU-k, amelyek futtatják őket

Egy rekordot tartalmazó 3,567 gépi tanulási modellek — ki építette mindegyiket, hol, mikor, mekkora, és hogy a súlyai nyilvánosak-e. Szélesebb mint egy lista a dolgokról, amiket futtathatsz: egy modell, amit senki sem tud letölteni, még mindig rendelkezik egy olvasásra érdemes specifikációval, és a létező dolgok ismerete része annak megítélésének, mi éri meg a futtatást.

Ami ezt a katalógust különbözővé teszi egy sima indexhez képest, az az, hogy egy hardver kalkulátorhoz van csatolva. Minden modell, amelynek a súlyai nyíltak és amelynek a mérete nyilvántartásban van, értékelve lett minden GPU kártya ellen, aminek a specifikációit birtokoljuk. Nyisd meg, és megmondja, hogy mely kártyák tudják futtatni, mennyi VRAM-ra van szükségük, és körülbelül hány TOKEN per másodpercet várhatsz.

A modell legfontosabb ténye, hogy a súlyai publikálva lettek-e. A modell súlyai azok a betanított értékek, amelyek jelentik, ami — több száz milliárd szám, amely hónapok számításain keresztül érkezett létre. A publikálásuk azt jelenti, hogy bárki letöltheti a modellt és futtathatja a saját hardverén, véglegesen, fiók és hálózati kapcsolat nélkül. A nem publikálásuk azt jelenti, hogy a modell csak mint szolgáltatás létezik, elérhető egy felületen keresztül, amelyet a tulajdonosa irányít.

Ez a megkülönböztetés mindent eldönt ezen az oldalon. Egy zárt modell nem futtatható lokálisan semmilyen áron, így semmilyen grafikus kártya nem változtatja meg a választ, és egyik memóriaérték sem vonatkozik rá. Egy nyílt súlyú modellt bárki futtathat, akinek van elég nagy hardvere ahhoz, hogy elférjen benne, ami a "melyik modellt használjam" kérdést egy hardveres válasszá változtatja.

Az "open weights" nem ugyanaz, mint az open source abban az értelemben, ahogy a kifejezést általában használják. Az, hogy a súlyok letölthetők, semmit nem mond a tréningadatokról, a tréningkódról, vagy az eredményhez kapcsolódó licencről — egyes közzétett modellek szabadon engedélyezik a kereskedelmi használatot, míg mások korlátozzák azt. Ami következetes, az az, hogy a modell a te gépeden fut, nem pedig valaki másén.

Ez a katalógus tartalmazza 3,567 modellek. Azok közül, 1,335 nyílt súlyai vannak és 2,232 ne tegyél 37 Minden százban van valami, amit ma letölthetsz. Ahol a licencet soha nem rögzítették, azt zártnak tekintjük, azon az elven, hogy a meg nem nevezett licencek nem bízhatók.

A paraméterek a modell belsejében található tanult értékek — a tréning során állított számok, amelyek mindent kódolnak, amit tud. Egy 8B-ként leírt modell körülbelül nyolcmilliárd ilyennel rendelkezik, és mindegyik egy helyet foglal el a VRAM-ban. Ezért a paraméterek száma az a sor, amely a legfontosabb itt: ez a legközelebbi dolog ahhoz, hogy közvetlenül megmondhassuk, mennyi hardverre van szüksége egy modellnek.

A kapcsolat közel lineáris, de a konstans attól függ, hogyan van tárolva a modell. Teljes precízióban minden paraméter két bájtot foglal el, így egy nyolcmilliárd-paraméteres modellnek tizenhat gigabájt szükséges, mielőtt bármi mást figyelembe vennének. Négy bit körüli tömörítve — ami a legtöbb ember által helyben futtatott modellekhez igazából használ — a ugyanaz a modell közelebb van az öt gigabájthoz, egy szerény és általában elfogadható költséggel a pontosságban.

Két dolog bonyolítja a helyzetet. A Mixture-of-experts modellek minden tokent csak saját maguk egy részén keresztül irányítanak, így olyan sebességgel generálnak szöveget, mint valami sokkal kisebb, miközben minden paraméternek a memória részeinek kell lennie – gyors, de nem olcsó tartani. Ráadásul a beszélgetés önmagában is memóriaigényes, amely a beszélgetés növekedésével nő, amiért egy olyan modell, amely kényelmesen illeszkedik rövid kérdésekhez, hosszú dokumentumokon megbukhat.

A nagyobb nem automatikusan jobb, és egyre inkább nem is az. A paraméterenkénti teljesítmény éles javuláson ment keresztül, így egy legújabb modell, amely nyolcmilliárd paraméterrel rendelkezik, rendszeresen jobb teljesítményt nyújt, mint egy régebbi, több mint többször akkora modell, miközben belefér a hardverbe, amelybe a régebbi soha nem fért volna. Ennek a katalógusnak a megjelenési dátum szerinti rendezése általában jobb útmutató, mint a méret szerinti rendezés.

Majdnem minden modell ebben a katalógusban egyetlen architekturális elképzelésből származik, amelyet 2017-ben publikáltak egy "Attention Is All You Need" című tanulmányban. Bevezette a TRANSZFORMERT, amely egyszerre dolgozza fel az egész szekvenciát, és megtanulja, hogy mely részei vonatkoznak egymásra - pótolva a korábbi lépésről lépésre ismétlődő terveket, és sokkal jobban skálázva, mint azok. Minden itt felsorolt modell, amely szöveget generál, egy TRANSZFORMER vagy annak közeli rokonja.

Ami követte, elsősorban egy olyan bemutató volt, amely megmutatta, hogy az architektúra a méret növekedésével folyamatosan fejlődik. A soron következő modellek nagyságrendekkel nőttek és ennek megfelelően egyre képesebbek lettek, ami évekre meghatározta a mintát: több paraméter, több képzési adat, több számítás. 2020-ra a legnagyobb modellek elég képesek voltak ahhoz, hogy kereskedelmi szempontból komolyan lehessen őket venni, és csak fizetős szolgáltatásként voltak elérhetők — a weights azoknál maradtak, akik kiképezték őket.

A fordulópont 2023-ban jött el, amikor több szervezet elkezdte közzétenni az OPEN WEIGHT-eket olyan modellekhez, amelyek elég jók voltak ahhoz, hogy érdemes legyen futtatni. Ez átalakította a kérdést az "melyik szolgáltatásra iratkozzak fel" kérdésről "mit tud a saját HARDVEREM" kérdésre, és ez az oka, hogy egy ilyen oldal létezik. Előtte a HARDVER kérdésének nem volt értelmes válasza a legtöbb ember számára.

Azóta eltelt évek inkább a hatékonyságról szóltak, mint a méretről. Jobb tréningmódszerek, jobb adatok és olyan architekturális munkák, mint a mixture-of-experts routing, mind növelték a paraméterenkénti kapacitást, miközben a kvantálás — minden súly tárolása négy vagy öt bitben tizenhat helyett — körülbelül háromnegyedével csökkentette az adott modell által igényelt MEMÓRIÁT. Közöttük az olyan modellek, amelyek egykor adatközpontot igényeltek, most asztali GPU KÁRTYÁN futnak, ami a gyakorlati fejlődés, amelyen ez az egész katalógus nyugszik.

A legnagyobb modell a fájlban van BaGuaLu, elérni 173.9T paraméterek. Ezen a skálán egy modell adatközponti infrastruktúra, nem pedig olyasmi, amit egy munkaállomás tart. A szám inkább egy jelző, amely megmutatja, hol helyezkedik el a határ, mintsem vásárlási döntés.

A katalógus lefedi a munkát a 1,314 szervezetek, elterjedve 50 Országok. Az a különbség önállóan is figyelemre méltó: a modellek fejlesztése már jó ideje nem korlátozódik néhány laboratóriumra, és a legszélesebb körben használt open weight modellek közül több olyan szervezetekből származik, amelyek néhány évvel ezelőtt még nem léteztek.

A paraméterek száma rögzítésre kerül 2,315 bejegyzések, egy katalógusból, amely tárolja 3,567. A rések többségét zárt modellek alkotják, amelyek tulajdonosai soha nem közölték a méretet, és alkalmanként olyan nyílt modellek, amelyeket senki sem mért. Egy olyan modell, amelynek nincs meg ez a szám, fel van tüntetve, de nem lehet megadni a memória- vagy sebességbecslést, mivel ezek a számítások mind ettől a számtól indulnak.

A bejegyzések a következőn kezdődnek 1950 és fut a 2026, Tehát a katalógus a terület nyilvántartása, nem pedig a jelenlegi állapot pillanatképe. A kiadás éve szerinti szűrés a leggyorsabb módja annak, hogy a tényleg megfontolandó modellekre szűkítsük.