ChatBit
Nessuna stima
Nessun requisito hardware per questo modello
I pesi per questo modello non sono stati pubblicati, quindi non può essere scaricato o eseguito sul proprio hardware di qualsiasi dimensione. È accessibile solo attraverso il suo fornitore e nessun cambiamento della scheda grafica che.
In registrazione
specifiche complete
Tutto in archivio per questo modello. La maggior parte descrive come è stato addestrato piuttosto che come gira — contesto utile per giudicare quanto lavoro c'è stato dietro, e come si confronta con i modelli costruiti su una scala diversa..
Origine
Chi ha costruito questo modello, dove e quando è stato pubblicato.
- Organizzazione
- Beijing Institute of Technology,Academy of Military Science,Minzu University of China
- Tipo di organizzazione
- Academia,Government,Academia
- Paese
- China
- Pubblicato
- 28 June 2024
- Autori
- Zhang Huaping, Li Chunjin, Wei Shunping, Geng Guotong, Li Weiwei, Li Yugang
Cosa fa
Le aree problematiche per cui è stato progettato il modello. Un modello può contenere diversi di ciascuno.
- Dominio
- Language
- Compito
- Chat, Language modeling/generation
- Modello di base
- LLaMA-13B
Dimensione
Quanto è grande il modello e su quanti dati è stato addestrato. I parametri sono la cifra che decide se si adatta a una determinata scheda grafica.
- parametri
- 13B
- Dati di addestramento
- 100,000,000 tokens
- Epoche
- 3
- Dimensione del Batch
- 16,384
Assuming as in LLaMA-13 since it is its finetune
"researchers noted that its model incorporated only 100,000 military dialogue records, a relatively small number compared with other LLMs." "其他设置：训练的epoch为3，最大长度 max_length为2 048，batch_size为8，使用8个 A100 GPU训练，梯度积累为4，warm_up为训 练总步数的10%，采用AdamW优化器， 1 = 0.90、 2 = 0.95，学习率为1e-5" which is translated as "Other settings: 3 epochs for training, max_length of 2 048, batch_size of 8, 8 A100 GPUs for training, gradient accumulation of 4, warm_up of 10% of the total number of training steps, AdamW optim…
max_length of 2 048, batch_size of 8
Calcolo di addestramento
L'aritmetica eseguita per addestrare il modello, misurata in operazioni in virgola mobile. È una misura di quanto è costato il run di addestramento, e non di quanto velocemente il modello finito ti risponde.
- Come è stato stabilito
- Operation counting
- Addestramento fine
- 2.3 × 10¹⁹ FLOP
6ND = 6*13*10^9*100000000*3 = 2.34e+19
La corsa di addestramento
Cosa ha richiesto fisicamente per addestrare: quali chip, quanti, per quanto tempo e cosa ha prelevato dalla presa.
- Hardware di addestramento
- NVIDIA A100
- Chip utilizzati
- 8
- Consumo energetico
- 6.3 kW
Disponibilità
Se puoi ottenere il modello e farlo funzionare sul tuo hardware, il che decide se alcune delle cifre della scheda grafica su questa pagina sono applicabili.
- Pesi
- Closed — provider access only
- Accesso al modello
- Unreleased
- Codice di addestramento
- Unreleased
Come è classificato
Etichette del dataset sorgente si applicano quando si tracciano modelli notevoli, e quanto è sicuro nell'entry.
- Record fiducia
- Likely
Fonti
Da dove proviene questo record e quando è stato controllato l'ultima volta.
- Riferimento
- Large language model-driven open-source intelligence cognition
- Ultimo aggiornamento
- 28 November 2025
Cosa significano i numeri
Cosa è questo modello
ChatBit è stato pubblicato da Beijing Institute of Technology,Academy of Military Science,Minzu University of China, nel paese registrato come China, durante June 2024. La categoria sotto cui rientra l'editore è academia,Government,Academia.
Funziona nel dominio di Language, ed è registrato come eseguire il compito di chat, Language modeling/generation.
Invece di essere addestrato da zero, è derivato da LLaMA-13B. Quello è il modo abituale in cui viene prodotto un modello specializzato.
Poiché i pesi non sono disponibili, nessuna delle specifiche hardware presenti in questo sito si applica ad esso.
Cosa è stato necessario per costruirlo
Il set di addestramento si aggirava attorno a 100,000,000 token di testo
Risposte
ChatBit — domande comuni
ChatBit— quando è stato rilasciato?
È stato pubblicato in June 2024. La capacità per parametro è migliorata considerevolmente da allora, quindi un modello più recente della stessa dimensione è spesso un uso migliore dello stesso hardware.
ChatBit— A cosa serve?
Funziona nel dominio di Language, e viene registrato come gestire il compito di chat, Language modeling/generation. Queste sono le aree su cui è stato progettato; descrivono l'intento piuttosto che un confine rigido.
ChatBit— che GPU ho bisogno per eseguirlo?
Nessuno. Questo è un modello chiuso - i suoi pesi non sono mai stati pubblicati, quindi non può essere scaricato o eseguito sul tuo hardware a qualsiasi prezzo. È accessibile solo attraverso il suo fornitore.
ChatBit— è open-source?
No. I pesi non sono stati pubblicati, quindi esiste solo come servizio controllato dal suo proprietario.
ChatBit— quanti parametri ha?
Ha un numero di parametri di 13B. Assuming as in LLaMA-13 since it is its finetune. Quella cifra è il totale, ed è ciò che decide quanto memoria il modello ha bisogno — circa mezzo gigabyte per miliardo alla compressione che la maggior parte delle persone usa.
ChatBit— chi l'ha creato?
È stato pubblicato da Beijing Institute of Technology,Academy of Military Science,Minzu University of China, basato su China, un'organizzazione categorizzata come academia,Government,Academia.
L'altra direzione
Guardandolo dall'altro lato?
Questa pagina parte dal modello. Se possiedi già una scheda e vuoi sapere tutto ciò che farà funzionare, inizia dall'hardware invece.