Modelli AI e le GPU che li eseguono

Un record che copre 3,567 modelli di apprendimento automatico — chi ha costruito ciascuno, dove, quando, quanto è grande e se i suoi pesi sono stati pubblicati. È più ampio di un elenco di cose che puoi eseguire: un modello che nessuno può scaricare ha comunque una specifica che vale la pena di leggere, e conoscere ciò che esiste è parte della valutazione di ciò che vale la pena eseguire.

Cosa rende questo catalogo diverso da un semplice indice è che è collegato a una calcolatrice hardware. Ogni modello i cui pesi sono open e la cui dimensione è registrata è stato valutato rispetto a ogni GPU di cui abbiamo specifiche. Apri uno e ti dice quali schede possono eseguirlo, quanta VRAM ciascuna necessita e all'incirca quanti token al secondo aspettarti.

L'unico fatto più importante riguardante un modello è se i suoi pesi sono stati pubblicati. I pesi di un modello sono i valori addestrati che lo rendono ciò che è: centinaia di miliardi di numeri ottenuti dopo mesi di calcoli. Pubblicarli significa che chiunque può scaricare il modello e farlo girare sul proprio hardware, permanentemente, senza un account e senza connessione di rete. Non pubblicarli significa che il modello esiste solo come un servizio, accessibile tramite un'interfaccia controllata dal suo proprietario.

Quella distinzione decide tutto il resto su questo sito. Un modello chiuso non può essere eseguito localmente a nessun prezzo, quindi nessun cambiamento della scheda grafica cambia la risposta e nessuna cifra di memoria si applica ad esso. Un modello open weight può essere eseguito da chiunque abbia hardware abbastanza grande da contenerlo, il che trasforma "qual è il modello che dovrei usare" in una domanda con una risposta hardware.

"Open weights" non è la stessa cosa di open source nel senso in cui il termine è solitamente inteso. Il fatto che i pesi siano scaricabili non dice nulla sui dati di addestramento, sul codice di addestramento o sulla licenza allegata al risultato - alcuni modelli pubblicati consentono liberamente l'uso commerciale, altri lo limitano. Ciò che è consistente è che il modello gira sulla tua macchina piuttosto che su quella di qualcun altro.

Questo catalogo contiene 3,567 modelli. Di quelli, 1,335 avere pesi aperti e 2,232 non fare — approssimativamente 37 In ogni cento c'è qualcosa che potresti scaricare oggi. Dove la licenza non è mai stata registrata, la consideriamo chiusa, sul principio che una licenza non dichiarata non è una su cui fare affidamento.

I parametri sono i valori appresi all'interno di un modello — i numeri regolati durante l'addestramento che codificano tutto ciò che sa. Un modello descritto come 8B ha circa otto miliardi di essi, e ognuno occupa spazio nella memoria. Ecco perché il conteggio dei parametri è la colonna che conta di più qui: è la cosa più vicina a una dichiarazione diretta di quanto hardware un modello necessita.

La relazione è vicina alla linearità, ma la costante dipende da come il modello è archiviato. A piena precisione, ogni parametro richiede due byte, quindi un modello da otto miliardi di parametri necessita di sedici gigabyte prima che venga considerato nient'altro. Compresso a circa quattro bit - che è ciò che la maggior parte delle persone che eseguono modelli localmente utilizza in realtà - lo stesso modello ha bisogno di circa cinque, a un costo modesto e di solito accettabile in termini di precisione.

Due cose lo complicano. I modelli di mixture-of-experts instradano ciascun token attraverso solo una frazione di loro stessi, quindi generano testo alla velocità di qualcosa di molto più piccolo pur necessitando di ogni parametro residente in VRAM — veloce, ma non economico da mantenere. E la conversazione stessa richiede VRAM che cresce con la conversazione, motivo per cui un modello che si adatta comodamente per domande brevi può fallire su un lungo documento.

Più grande non è automaticamente migliore, e sempre meno lo è. La capacità per parametro è migliorata così tanto che un modello recente con otto miliardi di parametri supera abitualmente un modello più vecchio che ha dimensioni più grandi, pur adattandosi a hardware che il modello più vecchio non avrebbe mai potuto. Ordinare questo catalogo per data di rilascio è di solito una guida migliore rispetto all'ordinamento per dimensione.

Quasi ogni modello in questo catalogo discende da un'unica idea architettonica pubblicata nel 2017, in un documento chiamato "Attention Is All You Need". Ha introdotto il trasformatore, che elabora un'intera sequenza alla volta e impara quali parti di essa si riferiscono a quali — sostituendo i design ricorrenti step-by-step che lo hanno preceduto e scalando molto meglio di quanto facessero. Ogni modello elencato qui che genera testo è un trasformatore o un suo stretto parente.

Ciò che seguì fu per lo più una dimostrazione che l'architettura continuava a migliorare con la scala. I modelli successivi crescevano di ordini di grandezza e diventavano corrispondentemente più capaci, stabilendo il modello per diversi anni: più parametri, più dati di addestramento, più calcoli. Entro il 2020 i modelli più grandi erano abbastanza capaci da essere commercialmente seri, e erano accessibili solo come servizi a pagamento — i pesi rimanevano con chiunque li avesse addestrati.

Il punto di svolta è arrivato nel 2023, quando diverse organizzazioni hanno iniziato a pubblicare pesi per modelli abbastanza buoni da valere la pena di essere eseguiti. Questo ha trasformato la domanda da "a quale servizio mi iscrivo" a "cosa può fare il mio hardware", ed è il motivo per cui esiste un sito come questo. Prima di allora, la questione hardware non aveva risposta significativa per la maggior parte delle persone.

Negli anni successivi si è trattato meno di scala e più di efficienza. Metodi di addestramento migliori, dati migliori e lavori architettonici come il routing a miscela di esperti hanno aumentato la capacità per parametro, mentre la quantizzazione — memorizzando ogni peso in quattro o cinque bit invece di sedici — ha ridotto la MEMORY di un dato modello di circa tre quarti. Tra di loro, modelli che un tempo avrebbero richiesto un datacenter ora girano su una GPU desktop, che è lo sviluppo pratico su cui si basa tutto questo catalogo.

Il modello più grande in archivio è BaGuaLu, raggiungere 173.9T parametri. A quella scala un modello è infrastruttura di datacenter piuttosto che qualcosa che un workstation può contenere, e la cifra è più utile come indicatore di dove si trova il confine piuttosto che come decisione di acquisto.

Il catalogo copre lavori da 1,314 organizzazioni, diffuse su 50 paesi. Quella diffusione vale la pena di essere notata da sola: lo sviluppo del modello ha smesso di essere concentrato in un pugno di laboratori qualche tempo fa, e diversi dei modelli open WEIGHT più utilizzati provengono da organizzazioni che non esistevano pochi anni prima.

I conteggi dei parametri sono registrati per 2,315 voci, fuori da un catalogo che contiene 3,567. Le lacune sono per lo più modelli chiusi i cui proprietari non hanno mai pubblicato una dimensione, e occasionalmente modelli open che nessuno ha misurato. Un modello senza quella cifra è elencato ma non può essere fornita una stima di memoria o velocità, poiché ogni uno di quei calcoli parte da essa.

Le voci iniziano in 1950 e eseguire a 2026, quindi il catalogo è un registro del campo piuttosto che un'istantanea di ciò che è attuale. Filtrare per anno di rilascio è il modo più veloce per restringerlo ai modelli che valgono realmente la pena di essere considerati.