CaLM
Žádný odhad
Žádné hardwarové požadavky pro tento model
Hmotnosti pro tento model nebyly zveřejněny, takže jej nelze stáhnout ani spustit na vlastním hardwaru v žádné velikosti. Je dostupný pouze prostřednictvím svého poskytovatele, a žádná změna grafické karty to nezmění..
Na záznamu
Plná specifikace
Všechno o tomto modelu v záznamech. Většina z toho popisuje, jak byl trénován, spíše než jak funguje — užitečný kontext pro posouzení, kolik práce do něj bylo vynaloženo, a jak se srovnává s modely postavenými na jiné úrovni..
Původ
Kdo vytvořil tento model, kde a kdy byl publikován.
- Organizace
- University of Oxford
- Typ organizace
- Academia
- Země
- United Kingdom of Great Britain and Northern Ireland
- Publikováno
- 19 December 2022
- Autoři
- Carlos Outeiral, Charlotte M. Deane
Co to dělá
Problémové oblasti, pro které byl model vytvořen. Model může obsahovat několik z každého.
- Doména
- Biology
- Úkol
- Protein or nucleotide language model (pLM/nLM), Protein embedding, Protein property prediction, Protein localization prediction
Velikost
Jak velký je model a kolik dat byl trénován. Parametry jsou číslo, které rozhoduje, zda se vejde na danou grafickou kartu.
- parametry
- 86M
- Výcviková data
- 2,523,746,560 tokens
- Epochy
- 14
"We trained a large language model with 86M parameters"
"a dataset of 9M non-redundant and diverse cDNA sequences identified from whole-genome sequencing" "Gradients were accumulated to an effective batch size of 1,000 examples, or approximately 256,000 tokens. " 9000000*256000/1000=2304000000 tokens
Výpočty pro trénink
Aritmetika prováděná k trénování modelu, měřená v operacích s plovoucí desetinnou čárkou. Je to měřítko toho, kolik stál tréninkový běh, ne jak rychle hotový model na vás odpovídá.
- Výpočty pro trénink
- 2.9 × 10¹⁹ FLOP
- Jak bylo ustanoveno
- Hardware,Operation counting
"4 NVIDIA Quadro RTX4000 GPUs for 40 days" Calculation assuming FP32, utilization 30%: = (40 * 24 * 3600) s * 7.1e12 FLOP/s * 0.3 * 4 GPU = 2.999808e+19 alternative calculation: "Gradients were accumulated to an effective batch size of 1,000 examples, or approximately 256,000 tokens. " "(66,000 gradient steps, 14 full epochs)" 256000*66000*14*86000000*6=1.220567e+20
Tréninkový běh
Co fyzicky vyžadovalo trénování: které čipy, kolik, jak dlouho a co to vyžadovalo ze zásuvky.
- Tréninkový hardware
- NVIDIA Quadro RTX 4000
- Používané čipy
- 4
- Čip-hodiny
- 3,840
- Doba reálného času
- 960 hours (40 days)
- Příkon
- 1.3 kW
"The model reported in this work was trained on 4 NVIDIA Quadro RTX4000 GPUs for 40 days (66,000 gradient steps, 14 full epochs)"
Dostupnost
Zda můžete získat model a spustit ho na svém vlastním hardwaru, což rozhoduje o tom, zda se některé z čísel grafických karet na této stránce vztahují.
- Hmotnosti
- Closed — provider access only
- Přístup k modelu
- Unreleased
- Tréninkový kód
- Open source
BSD-3-Clause license https://github.com/oxpig/CaLM
Jak je to klasifikováno
Štítky aplikačních datových sad, které se používají při sledování významných modelů, a jak jistý je ve záznamu.
- Proč je to sledováno
- SOTA improvement
- Záznam důvěry
- Likely
- Citace
- 34
not absolute SOTA, SOTA among similar size models "We show that large language models trained on codons, instead of amino acid sequences, provide high-quality representations that outperform comparable state-of-the-art models across a variety of tasks. In some tasks, like species recognition, prediction of protein and transcript abundance, or melting point estimation, we show that a language model trained on codons outperforms every other published protein language model, including some that co…
Žrovy
Odkud tento záznam pochází a kdy byl naposledy zkontrolován.
- Reference
- Codon language embeddings provide strong signals for protein engineering
- Nap poslední aktualizace
- 1 January 2026
Co čísla znamenají
Co je tento MODEL
CaLM byl zveřejněn University of Oxford, v zemi zaznamenané jako United Kingdom of Great Britain and Northern Ireland, během December 2022. Vychází z organizace, která je kategorizována jako academia.
funguje v oblasti Biology, a je zaznamenán jako vykonávající úkol protein or nucleotide language model (pLM/nLM), Protein embedding, Protein property prediction, Protein localization prediction.
Protože váhy nejsou k dispozici, žádné z hardwarových údajů na tomto webu se na něj nevztahují.
Jak bylo trénováno
Trenovací běh spotřeboval asi 2.9 × 10¹⁹ FLOP, na hardwaru zaznamenáno jako NVIDIA Quadro RTX 4000. Tato částka měří, kolik stál výroba modelu, a nemá žádný vliv na to, jak rychle odpovídá.
Bylo to trénováno na korpusu asi 2,523,746,560 tokeny textu
Jeho kritérium zahrnutí: sOTA improvement.
Odpovědi
CaLM — běžné otázky
CaLM— Kdo to vytvořil?
Bylo to publikováno společností University of Oxford, zakládající se na United Kingdom of Great Britain and Northern Ireland, organizace zařazená jako academia.
CaLM— Kdy byl vydán?
Bylo to zveřejněno v December 2022. Schopnost na parametr se od té doby výrazně zlepšila, takže novější model stejné velikosti je často lepším využitím stejného hardwaru.
CaLM— K čemu se to používá?
funguje v oblasti Biology, a je zaznamenáno jako zpracovávající úkol protein or nucleotide language model (pLM/nLM), Protein embedding, Protein property prediction, Protein localization prediction. Modely často obsahují více než jeden z každého a štítky popisují účel spíše než omezení schopností.
CaLM— kolik výpočetního výkonu bylo použito k jeho trénování?
Trénink spotřeboval kolem 2.9 × 10¹⁹ FLOP, na hardwaru zaznamenáno jako NVIDIA Quadro RTX 4000. To měří, co stálo výrobu modelu, a neříká nic o tom, jak rychle odpovídá po natrénování — rychlost inferencí závisí na šířce pásma paměti, nikoli na rozpočtu na trénink.
CaLM— Jakou GPU potřebuji k jejímu spuštění?
Žádné. Toto je uzavřený model — jeho váhy nikdy nebyly zveřejněny, takže jej nelze stáhnout nebo spustit na vlastním hardwaru za žádnou cenu. Je dostupný pouze prostřednictvím jeho poskytovatele.
CaLM— Je to OPEN SOURCE?
Ne. Jeho váhy nebyly zveřejněny, takže existuje pouze jako služba řízená jeho vlastníkem.
CaLM— kolik má parametrů?
Má počet parametrů 86M. "We trained a large language model with 86M parameters". Tato cifra je celková a rozhoduje o tom, kolik VRAM model potřebuje — přibližně půl gigabajtu na miliardu při kompresi, kterou většina lidí používá.
Druhý směr
Díváte se na to z druhé strany?
Tato stránka začíná od modelu. Pokud již vlastníte kartu a chcete vědět všechno, co bude spuštěno, začněte raději od hardwaru.