Modele AI i GPU, które je uruchamiają

Rekord obejmujący 3,567 modele uczenia maszynowego — kto zbudował każdy z nich, gdzie, kiedy, jak duży jest oraz czy jego wagi zostały opublikowane. Jest to szersze niż lista rzeczy, które można uruchomić: model, którego nikt nie może pobrać, wciąż ma specyfikację wartą przeczytania, a znajomość tego, co istnieje, jest częścią oceny, co warto uruchomić.

Co sprawia, że ten katalog różni się od zwykłego indeksu, to fakt, że jest dołączony do kalkulatora sprzętowego. Każdy model, którego wagi są otwarte i którego rozmiar znajduje się w naszej bazie danych, został oceniony pod kątem każdej karty graficznej, dla której posiadamy specyfikacje. Otwórz jeden, a powie ci, które karty mogą go uruchomić, ile pamięci każda potrzebuje i mniej więcej ile tokenów na sekundę można się spodziewać.

Jednym z najważniejszych faktów dotyczących modelu jest to, czy jego WAGI zostały opublikowane. WAGI modelu to wyuczone wartości, które czynią go tym, czym jest — setki miliardów liczb osiągniętych przez miesiące obliczeń. Opublikowanie ich oznacza, że ​​każdy może pobrać model i uruchomić go na własnym sprzęcie, na stałe, bez konta i bez połączenia z siecią. Nieopublikowanie ich oznacza, że model istnieje tylko jako usługa, dostępna przez interfejs, który kontroluje jego właściciel.

Ta różnica decyduje o wszystkim innym na tej stronie. Zamknięty model nie może być uruchomiony lokalnie w żadnej cenie, więc żaden zmiana karty graficznej nie zmienia odpowiedzi, a żadna figura pamięci się do niego nie odnosi. Model open weight może być uruchomiony przez każdego, kto ma sprzęt wystarczająco duży, aby go pomieścić, co zamienia "który model powinienem użyć" w pytanie z odpowiedzią sprzętową.

"Otwarte wagi" nie jest tym samym co otwarte źródło w sensie, w jakim ten termin zazwyczaj się pojawia. Możliwość pobrania wag nic nie mówi o danych treningowych, kodzie treningowym ani o licencji dołączonej do wyniku — niektóre opublikowane modele pozwalają na swobodne wykorzystanie komercyjne, inne to ograniczają. Co jest spójne, to fakt, że model działa na twojej maszynie, a nie na czyjejś innej.

Ten katalog zawiera 3,567 modele. Z tych, 1,335 posiadają otwarte wagi i 2,232 nie — w przybliżeniu 37 w każdej setce jest coś, co możesz pobrać dzisiaj. Gdzie licencjonowanie nigdy nie zostało zarejestrowane, traktujemy to jako zamknięte, na zasadzie, że nieokreślona licencja nie jest licencją, na której można polegać.

Parametry to wartości wyuczone w modelu — liczby dostosowywane podczas treningu, które kodują wszystko, co on wie. Model opisany jako 8B ma około ośmiu miliardów z nich, a każdy zajmuje miejsce w pamięci. Dlatego liczba parametrów jest kolumną, która ma tutaj największe znaczenie: jest to najbliższe stwierdzenie, ile sprzętu potrzebuje model.

Relacja jest bliska liniowej, ale stała zależy od tego, jak model jest przechowywany. Przy pełnej precyzji każdy parametr zajmuje dwa bajty, więc model z ośmioma miliardami parametrów potrzebuje szesnastu gigabajtów, zanim cokolwiek innego zostanie uwzględnione. Skonpresowany do około czterech bitów — co jest tym, co większość ludzi uruchamiających modele lokalnie faktycznie używa — ten sam model wymaga bliżej pięciu, przy umiarkowanym i zazwyczaj akceptowalnym koszcie w dokładności.

Dwie rzeczy to komplikują. Modele mieszanki ekspertów kierują każdy token tylko przez ułamek siebie, więc generują tekst z prędkością czegoś znacznie mniejszego, a jednocześnie potrzebują, aby każdy parametr był obecny w pamięci — szybko, ale nie tanio do przechowywania. A sama rozmowa zajmuje pamięć, która rośnie w miarę trwania rozmowy, co jest powodem, dla którego model, który mieści się wygodnie przy krótkich pytaniach, może zawieść na długim dokumencie.

Większy nie zawsze oznacza lepszy, a coraz częściej tak nie jest. Zdolność na parametr poprawiła się na tyle, że nowoczesny model o ośmiu miliardach parametrów regularnie przewyższa starszy model, który ma wielokrotność jego rozmiaru, mieszcząc się na sprzęcie, na którym starszy model nigdy by się nie zmieścił. Sortowanie tego katalogu według daty wydania jest zazwyczaj lepszym przewodnikiem niż sortowanie go według rozmiaru.

Prawie każdy model w tym katalogu pochodzi z jednej idei architektonicznej opublikowanej w 2017 roku w artykule zatytułowanym "Attention Is All You Need". Wprowadził on transformator, który przetwarza całą sekwencję naraz i uczy się, które jej części wpływają na które — zastępując wcześniejsze iteracyjne projekty krok po kroku i skalując się znacznie lepiej niż one. Każdy model wymieniony tutaj, który generuje tekst, jest transformatorem lub bliskim krewnym takiego modelu.

To, co nastąpiło, było głównie demonstracją, że architektura wciąż poprawiała się wraz z rozmiarem. Kolejne modele rosły o rzędy wielkości i stawały się odpowiednio bardziej zdolne, co ustaliło wzór na kilka lat: więcej parametrów, więcej danych treningowych, więcej obliczeń. Do 2020 roku największe modele były wystarczająco zdolne, aby być poważnie komercyjnymi, i były dostępne tylko jako płatne usługi — wagi pozostawały u tego, kto je wytrenuje.

Kiedy nastał 2023 rok, kilka organizacji zaczęło publikować WAGI dla modeli wystarczająco dobrych, by warto je uruchomić. To zmieniło pytanie z "do jakiej usługi się subskrybuję" na "co może moje własne sprzęt", i to jest powód, dla którego istnieje taka strona jak ta. Przed tym pytanie o sprzęt nie miało sensownej odpowiedzi dla większości ludzi.

Lata, które minęły, były mniej o skali, a bardziej o efektywności. Lepsze metody szkolenia, lepsze dane i prace architektoniczne, takie jak routowanie mieszanki ekspertów, zwiększyły możliwości na parametr, podczas gdy kwantyzacja — przechowywanie każdej wagi w czterech lub pięciu bitach zamiast szesnastu — zmniejszyła pamięć, jaką dany model potrzebuje, o około trzy czwarte. Dzięki nim modele, które kiedyś wymagały centrum danych, teraz działają na desktopowej karcie graficznej, co jest praktycznym rozwojem, na którym opiera się ten cały katalog.

Największy model w bazie danych to BaGuaLu, osiąganie 173.9T parametry. Na tej skali model to infrastruktura centrum danych, a nie coś, co mieści się w stacji roboczej, a ta liczba jest bardziej przydatna jako wskaźnik, gdzie znajduje się granica, niż jako decyzja zakupowa.

Katalog obejmuje prace z 1,314 organizacje, rozprzestrzenione po 50 kraje. To rozprzestrzenienie samo w sobie zasługuje na uwagę: rozwój modeli przestał być skoncentrowany w kilku laboratoriach jakiś czas temu, a kilka z najczęściej używanych modeli OPEN WEIGHT pochodzi z organizacji, które kilka lat wcześniej nie istniały.

Liczba parametrów jest rejestrowana dla 2,315 pozycje, z katalogu holding 3,567. Luki są głównie zamkniętymi modelami, których właściciele nigdy nie opublikowali rozmiaru, a czasami otwartymi, których nikt nie zmierzył. Model bez tej wartości jest wymieniony, ale nie można podać oszacowania pamięci ani prędkości, ponieważ każde z tych obliczeń zaczyna się od tej wartości.

Wpisy zaczynają się w 1950 i uruchomić do 2026, więc katalog jest zapisem dziedziny, a nie migawką tego, co jest aktualne. Filtrowanie według roku wydania jest najszybszym sposobem na zawężenie go do modeli, które warto rzeczywiście rozważyć.