BitNet b1.58
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- University of Chinese Academy of Sciences,Microsoft Research
- Organisationstyp
- Academia,Industry
- Land
- China, United States of America
- Veröffentlicht
- 27 February 2024
- Autoren
- Shuming Ma, Hongyu Wang, Lingxiao Ma, Lei Wang, Wenhui Wang, Shaohan Huang, Li Dong, Ruiping Wang, Jilong Xue, Furu Wei
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Language
- Aufgabe
- Language modeling/generation, Question answering
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Parameter
- 70B
- Trainingsdaten
- 100,000,000,000 tokens
"we pre-trained the models on the RedPajama dataset [Com23] for 100 billion tokens."
Training-Computing
Die zur Ausbildung des Modells durchgeführte Arithmetik, gemessen in Gleitkommaoperationen. Es ist ein Maß dafür, was der Trainingslauf gekostet hat, nicht wie schnell das fertige Modell Ihnen antwortet.
- Training-Computing
- 2.9 × 10²² FLOP
- Wie es etabliert wurde
- Operation counting,Comparison with other models
6ND = 6*70*10^9*100*10^9 = 42000000000000000000000 (4.2e+22) Figure 3 suggests it 41.2 times more energy efficient than LLAMA 70B (which is estimated 8.1e+23 FLOPS -> 1.9660194e+22 FLOPs geometric mean -> 2.8735486e+22
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Aufzeichnungszuversicht
- Confident
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
- Zuletzt aktualisiert
- 28 November 2025
Was die Zahlen bedeuten
Was dieses Modell ist
BitNet b1.58 was published by University of Chinese Academy of Sciences,Microsoft Research, in China, in February 2024. It comes out of academia,Industry.
Es funktioniert in Sprache und wird als Sprachmodellierung/Generierung, Beantwortung von Fragen aufgezeichnet.
Da die Gewichte nicht verfügbar sind, gelten keine der Hardwareangaben an anderer Stelle auf dieser Seite für sie.
Training und Herkunft
Training it took roughly 2.9 × 10²² FLOP of computation — a measure of what producing the model cost, not of how fast it answers.
It was trained on about 100,000,000,000 tokens of text.
Antworten
BitNet b1.58 — Häufig gestellte Fragen
What GPU do I need to run BitNet b1.58?
None. BitNet b1.58 is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is BitNet b1.58 open source?
The licensing for BitNet b1.58 was never recorded in our source data. We treat unstated licensing as closed, because an unrecorded licence is not one to rely on.
How many parameters does BitNet b1.58 have?
BitNet b1.58 has 70B parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created BitNet b1.58?
BitNet b1.58 was published by University of Chinese Academy of Sciences,Microsoft Research, based in China, categorised as academia,Industry.
When was BitNet b1.58 released?
BitNet b1.58 was published in February 2024. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is BitNet b1.58 used for?
BitNet b1.58 works in Language, and is recorded as handling language modeling/generation, Question answering. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
How much compute was used to train BitNet b1.58?
Around 2.9 × 10²² FLOP. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.