AI modely a GPU, které je provozují

Záznam pokrývající 3,567 modely strojového učení — kdo každý z nich vytvořil, kde, kdy, jak velký je a zda byly jeho váhy zveřejněny. Je to širší než seznam věcí, které můžete spustit: model, který si nikdo nemůže stáhnout, má stále specifikaci, která stojí za přečtení, a vědění o tom, co existuje, je součástí posuzování, co stojí za to spustit.

Co odlišuje tento katalog od prostého indexu, je to, že je připojen k hardwarovému kalkulátoru. Každý model, jehož váhy jsou OTEVŘENÉ a jehož velikost je ZAZNAMENÁNA, byla posouzena vůči každé grafické KARTĚ, pro kterou máme specifikace. Otevřete jeden a řekne vám, které KARTY jej mohou spustit, kolik paměti každá potřebuje a přibližně kolik TOKENŮ za sekundu očekávat.

Jedním z nejdůležitějších faktů o modelu je, zda byly jeho váhy publikovány. Váhy modelu jsou trénované hodnoty, které z něj dělají to, čím je - stovky miliard čísel dosažených během měsíců výpočtů. Publikování znamená, že si je kdokoli může stáhnout a spustit na vlastním hardwaru, trvale, bez účtu a bez internetového připojení. Nepublikování znamená, že model existuje pouze jako služba, přístupná prostřednictvím rozhraní, které ovládá jeho vlastník.

Toto rozlišení určuje všechno ostatní na tomto webu. Uzavřený model nelze spustit lokálně za žádnou cenu, takže žádná změna grafické karty na odpověď neplatí a žádná hodnota paměti se na to nevztahuje. Otevřený model může spustit kdokoli, kdo má dostatečně velký hardware, aby ho udržel, což mění "jaký model bych měl použít" na otázku s hardwarovou odpovědí.

"Open weights" není totéž co open source v smyslu, jaký tento termín obvykle nese. Možnost stáhnout váhy nic neříká o tréninkových datech, tréninkovém kódu nebo licenci připojené k výsledku — některé publikované modely umožňují komerční použití bez omezení, jiné to omezují. Co je konzistentní, je to, že model běží na vašem stroji spíše než na stroji někoho jiného.

Tento katalog obsahuje 3,567 modely. Z těchto, 1,335 mít open weight a 2,232 ne — zhruba 37 v každém sto je něco, co byste si mohli dnes stáhnout. Kde licenci nikdy nezaznamenali, počítáme to jako uzavřené, na principu, že nevyjádřená licence není na co se spolehnout.

Parametry jsou naučené hodnoty uvnitř modelu — čísla upravená během trénování, která kódují vše, co ví. Model popsaný jako 8B má kolem osmi miliard z nich, a každé z nich zabírá místo v VRAM. Proto je počet parametrů sloupec, který zde nejvíce záleží: je to nejbližší věc k přímému vyjádření toho, kolik hardwaru model potřebuje.

Vztah je blízký lineární, ale konstanta závisí na tom, jak je model uložen. Při plné přesnosti každá parametr zabírá dva bajty, takže model s osmi miliardami parametrů potřebuje šestnáct gigabajtů, než se zohlední cokoli jiného. Při stlačení na přibližně čtyři bity — což je to, co většina lidí, kteří spouští modely lokálně, skutečně používá — stejný model potřebuje blíže k pěti, za skromnou a obvykle přijatelnou cenu v přesnosti.

Dvě věci to komplikuje. Modely směsi expertů vedou každý token pouze skrze část sebe sama, takže generují text rychlostí něčeho mnohem menšího, přičemž stále potřebují, aby každý parametr byl v paměti — rychlé, ale ne levné na udržení. A samotná konverzace vyžaduje paměť, která roste, jak konverzace probíhá, což je důvod, proč model, který se pohodlně vejde na krátké otázky, může selhat na dlouhém dokumentu.

Větší také není automaticky lepší, a stále častěji není. Schopnost na parametr se výrazně zlepšila, takže nedávný model s osmi miliardami parametrů běžně překonává starší model několikrát větší, přičemž se vejde na hardware, na kterém by se starší model nikdy nevešel. Třídění tohoto katalogu podle data vydání je obvykle lepším vodítkem než třídění podle velikosti.

Téměř každý model v tomto katalogu pochází z jedné architektonické myšlenky publikované v roce 2017 v článku nazvaném "Attention Is All You Need". Představil transformátor, který zpracovává celou sekvenci najednou a učí se, které její části se vztahují na které – nahrazující krokové rekurentní návrhy, které přišly dříve, a škálující se mnohem lépe než tyto. Každý model uvedený zde, který generuje text, je transformátor nebo jeho blízký příbuzný.

Co následovalo, byla převážně demonstrace, že architektura se zlepšovala s měřítkem. Po sobě jdoucí modely rostly o několik řádů a stávaly se úměrně schopnějšími, což stanovilo vzor na několik let: více parametrů, více tréninkových dat, více výpočtů. Do roku 2020 byly největší modely dostatečně schopné, aby byly komerčně vážné, a bylo je možné dosáhnout pouze jako placené služby – váhy zůstávaly u toho, kdo je trénoval.

Obrat přišel v roce 2023, když několik organizací začalo publikovat váhy pro modely, které byly dostatečně dobré na to, aby stály za spuštění. To změnilo otázku z "k jaké službě se mám přihlásit" na "co může moje vlastní hardware dělat", a je to důvod, proč existuje stránka jako je tato. Předtím na otázku o hardwaru většina lidí neměla smysluplnou odpověď.

Roky, které následovaly, byly méně o škále a více o efektivitě. Lepší tréninkové metody, lepší data a architektonická práce, jako je směs-expertů směrování, všechny zvýšily schopnost na parametr, zatímco kvantizace — ukládání každé váhy ve čtyřech nebo pěti bitech namísto šestnácti — snížila MEMORY, kterou daný MODEL potřebuje, zhruba o tři čtvrtiny. Mezi nimi modely, které by kdysi vyžadovaly datacentrum, nyní běží na desktopové GPU, což je praktický vývoj, na kterém celý tento katalog spočívá.

Největší model v databázi je BaGuaLu, dosahování 173.9T parametry. V této škále je model infrastrukturní datového centra spíše než něco, co by držela pracovní stanice, a toto číslo je užitečnější jako ukazatel, kde leží hranice, než jako rozhodnutí o nákupu.

Katalog pokrývá práci z 1,314 organizace, rozptýlené 50 země. Ten rozdíl stojí za povšimnutí sám o sobě: vývoj modelů přestal být soustředěn v hrstce laboratoří před nějakým časem a několik z nejpoužívanějších open-weight modelů pochází z organizací, které před několika lety neexistovaly.

Parametrické počty jsou zaznamenávány pro 2,315 záznamy, z katalogu držícího 3,567. Mezery jsou většinou uzavřené modely, jejichž majitelé nikdy nezveřejnili velikost, a občasné otevřené modely, které nikdo neměřil. Model bez této hodnoty je uveden, ale nelze mu poskytnout odhad paměti nebo rychlosti, protože každý z těchto výpočtů vychází z ní.

Vstupy začínají v 1950 a spustit na 2026, tak katalog je záznamem v oboru spíše než snímkem toho, co je aktuální. Filtrace podle roku vydání je nejrychlejší způsob, jak to zúžit na modely, které stojí za to skutečně zvážit.