Hugging Faceがリリースしました Carbon-X、14.8Bパラメータを持つオープンなDNA言語モデルです。Carbon-XはHugging Face Bioによるdecoder-onlyモデルで、チャット内で生のDNAを読み取り、英語で回答します。変異が無害か病原性かを予測し、調節領域を検出し、生物を分類し、次の塩基を予測します。重みはApache 2.0ライセンスで提供されるため、研究機関は機密性の高い配列を自身のGPU上に置いたまま利用できます。Hugging Faceは中関村学院およびTIGEM / University of Naples Federico IIと共同でこのモデルを構築しました。
要点
- サイズ: 14.8Bパラメータ(dense、MoEなし)、40,960トークンのコンテキスト。
- 動作環境： bfloat16でvLLMまたはTransformers経由でGPU 1 x 80 GB。公式GGUF: Q8_0は15.8 GB、Q4_K_Mは9.6 GB。
- 性能: 5つのDNAベンチマークで平均66.7%、テストされたすべてのオープンモデル中で最高（自己申告）。
- 最良： BioReason Codingで74.9%を記録し、テストされたすべてのモデル(オープン・クローズドを問わず)を上回りました。
- 最悪: GenomeQAのスプライスサイトに関する質問で29.8%。
Carbon-Xとは何で、どのように機能するのでしょうか?
Carbon-X は次のことから始まります。 Qwen3-14B。DNAとテキストは1つのデコーダにおいて1つのトークンストリームを共有します。 BioReason.
中核となる構造要素はハイブリッドトークナイザです。テキストにはQwen3のBPE語彙を維持しつつ、5,515個のDNAトークンを追加します。これには、重複のない6-merの4,096個、テールトークン1,364個、およびマーカー3個が含まれます。1つのDNAトークンは6塩基対をカバーします。A/C/G/T塩基が6以上連続するDNA配列は自動的にタグ付けされます。
バックボーンは標準的なQwen3スタックです。40層、隠れ層サイズ5120、8つのKVヘッドによるGQAを採用しています。
Carbon-Xはどのように訓練されましたか?
トレーニングは、同氏によると4つの段階で実施された。 モデルカード:
- 埋め込みのウォームアップ: トランスフォーマーを凍結したまま約10Bトークンで学習させるため、学習するのは新しいDNA埋め込みのみとなります。
- 訓練中: 8,192シーケンス長で302Bトークン。構成は生のDNAが55%、英語が20%、生物学テキストが15%、命令データが10%。
- SFT: 20個のデータセットサブセットに対して3エポック学習し、応答はドメイン専門家と共に構築された決定論的検証器によってチェックされました。
- RL: 検証可能な報酬を用いた非同期GRPOを2ラウンドにわたって実行し、 TRL およびvLLM。
に従い、 リリース投稿、 学習率が最も調整が難しいパラメータでした。高い学習率ではDNAを学習する一方で英語を忘れてしまいました。より低い学習率、14Bモデル、そして長時間の学習によってこのトレードオフを解消しました。Qwen3-14Bに直接適用したRLは、FrontierVEPにおいて50%のランダムベースラインを一度も上回ることができませんでした。
Carbon-XはDNAベンチマークでどのような性能を発揮しますか?
すべてのスコアはHugging Faceによる自己申告です。Carbon-Xはthinking無効で実行されました。競合モデルはそれぞれ最良の推論設定で実行されました。
| ベンチマーク | Carbon-X | GPT-6.1 Sol(Max) | Opus 5.5（Max） | Kimi K3 (Low) |
|---|---|---|---|---|
| BioReason Coding | 74.9 | 71.0 | 70.3 | 53.9 |
| BioReason Non-SNV | 85.1 | 91.7 | 94.8 | 65.3 |
| GenomeQA | 63.6 | 67.2 | 62.2 | 52.0 |
| NextBase | 39.4 | 32.9 | 1.1 | 30.6 |
| FrontierVEP | 70.4 | 74.9 | 76.2 | 50.1 |
| 平均 | 66.7 | 67.5 | 60.9 | 50.4 |
Carbon-XはQwen3-14Bより27ポイント高く、GPT-6.1 Solより0.8ポイント低い水準にあります。コーディング変異の影響とネクストベース予測では首位です。複雑な変異やシングルベース変異では依然としてフロンティアモデルが優れています。
これらの数値は拒否反応の影響を受けています。NextBaseでは、Opus 5.5は低労力時の17.7%から、拒否の増加に伴い最大労力時には1.1%まで低下します。Gemini 4 Argonは、労力の増加に伴いFrontierVEPで58%から38%に低下します。
Carbon-Xは汎用能力も維持しています:IFEvalでのプロンプトレベルのstrict精度は79.3%。
Tokenize</button><button class="btn gh" id="cx-rst">リセット</button></div> <p class="note">5,515個のDNAトークンを追加:6-merが4,096個、末尾トークンが1,364個、マーカー3個(<dna>、</dna>、<oov>)。コンテキスト:40,960トークン。</p> </div> <div class="pnl" data-i="1"> <p class="lead"><b>Qwen3-14B</b>をベースに4段階で構築。ステージをクリックしてください。</p> <div class="flow" id="cx-flow"> <div class="st on" data-s="0"><div class="n">01</div><div class="t1">ウォームアップ</div><div class="t2">約10Bトークン</div></div> <div class="st" data-s="1"><div class="n">02</div><div class="t1">ミッドトレーニング</div><div class="t2">302Bトークン</div></div> <div class="st" data-s="2"><div class="n">03</div><div class="t1">SFT</div><div class="t2">3エポック</div></div> <div class="st" data-s="3"><div class="n">04</div><div class="t1">RL</div><div class="t2">非同期GRPO</div></div> </div> <div class="box det" id="cx-det"></div> </div> <div class="pnl" data-i="2"> <p class="lead">思考オフのCarbon-Xと、各社の最良の推論労力でのライバルの比較。</p> <div class="bsel" id="cx-bsel"></div> <div id="cx-bars"></div> <p class="note" id="cx-bnote"></p> </div> <div class="pnl" data-i="3"> <p class="lead"><b>H200を1時間5ドル</b>で稼働した際の実測スループットに基づく価格設定。</p> <div class="grid2"> <div class="box"><div class="big" id="cx-c1">$0</div><div class="cap">Carbon-Xで意義不明のClinVar変異2.4M件をスコアリングする際の推定コスト。</div></div> <div class="box"><div class="big" style="color:#a7adbb!important">$32K〜$4M</div><div class="cap">Hugging Faceが評価したフロンティアモデルで同じジョブを行った場合のコスト(モデルと労力による)。</div></div> <div class="box"><div class="big" id="cx-c2">0x</div><div class="cap">GPT-6.1 Solと比べた1問題あたりの推論コスト(モデルカード:約1/1,800)。</div></div> <div class="box"><div class="big" id="cx-c3">+0.0</div><div class="cap">Kimi K3がCarbon-Xをサブエージェントとして利用した場合の獲得ポイント(49.4%から60.5%へ)。</div></div> </div> </div> <div class="pnl" data-i="4"> <p class="lead">臨床検証はされていません。詳細はカードをタップしてください。</p> <div class="lim"> <div class="box"><div class="h">スプライスサイト <em>29.8%</em></div><div class="b">GenomeQAで最も弱いタスク。ヒストンマークも34.6%と低い水準です。</div></div> <div class="box"><div class="h">正確な操作 <em>!</em></div><div class="b">長い配列では塁基の数を誤ったり座標を混同したりする可能性があります。計数や編集にはコードを使用してください。</div></div> <div class="box"><div class="h">ハルシネーション <em>!</em></div><div class="b">文脈がないと配列の同一性をでっち上げる可能性があります。遺伝子、鎖の方向、アノテーションを与えてください。</div></div> <div class="box"><div class="h">長文生成 <em>!</em></div><div class="b">長いDNA生成では品質が低下します。モデルカードによると、新規配列の設計向けには訓練されていないとのことです。</div></div> </div> </div> <div class="ft"><span>出典:HuggingFaceBio/Carbon-Xモデルカードおよびリリースブログ</span><span class="mtp">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-cx'); function post(){try{parent.postMessage({mtpcx:1,h:R.offsetHeight+40},'*')}catch(e){}} var tabs=R.querySelectorAll('.tab'),pn=R.querySelectorAll('.pnl'); tabs.forEach(function(t){t.onclick=function(){tabs.forEach(function(x){x.classList.remove('on')});pn.forEach(function(x){x.classList.remove('on')});t.classList.add('on');var p=R.querySelector('.pnl[data-i="'+t.dataset.p+'"]');p.classList.add('on');if(t.dataset.p==='2')drawBars(cur);if(t.dataset.p==='3')countUp();setTimeout(post,60)}}); // tokenizer var TOK=[['Describe','t'],['this','t'],['sequence','t'],[':','t'],['<dna>','m'],['ACGTAC','d'],['GATTCA','d'],['TATAAA','d'],['</dna>','m']]; var box=document.getElementById('cx-toks'),timer=[]; function build(){box.innerHTML='';TOK.forEach(function(k){var s=document.createElement('span');s.className='tk '+k[1];s.textContent=k[0];box.appendChild(s)})} build(); document.getElementById('cx-tok').onclick=function(){timer.forEach(clearTimeout);build();var el=box.children;for(var i=0;i<el.length;i++)(function(i){timer.push(setTimeout(function(){el[i].classList.add('show')},120*i+40))})(i)}; document.getElementById('cx-rst').onclick=function(){timer.forEach(clearTimeout);build()}; // training var ST=[ {h:'埋め込みウォームアップ',p:'新しいDNAトークンにはランダムな埋め込みが与えられます。約10Bトークンでその埋め込みのみを訓練し、トランスフォーマー本体は凍結したままにします。',mix:null}, {h:'ミッドトレーニング：302Bトークン',p:'シーケンス長8,192、コサインLRを5e-5から5e-6へ。低めのLR、14Bモデル、長時間の実行により、英語を維持しながらDNAを学習させました。',mix:[[55,'#ffb84d','生DNA 55%'],[20,'#7cc4ff','英語 20%'],[15,'#FF9D00','生物学テキスト 15%'],[10,'#FFD21E','指示 10%']]}, {h:'教師ありファインチューニング',p:'20のデータセットサブセットで3エポック。バリアント効果の推論はミックスの約30%です。回答は、ドメイン専門家と共に構築された決定論的検証器によって確認されました。',mix:null}, {h:'強化学習',p:'コードで検証される報酬を用いた非同期GRPO、2ラウンド、プロンプトあたり16 サンプル。Qwen3-14B上でRL単独では、FrontierVEPで50%の確率ベースラインを決して上回れませんでした。',mix:null}]; var det=document.getElementById('cx-det'),sts=R.querySelectorAll('.st'); function showSt(i){sts.forEach(function(s){s.classList.toggle('on',s.dataset.s==i)});var s=ST[i],h='<div style="font-weight:700;font-size:15px;color:#FFD21E">'+s.h+'</div><div class="cap" style="font-size:13px">'+s.p+'</div>'; if(s.mix){h+='<div class="mix">'+s.mix.map(function(m){return '<i style="background:'+m[1]+'" data-w="'+m[0]+'"></i>'}).join('')+'</div><div class="leg">'+s.mix.map(function(m){return '<span style="--c:'+m[1]+'">'+m[2]+'</span>'}).join('')+'</div>'} det.innerHTML=h;if(s.mix)setTimeout(function(){det.querySelectorAll('.mix i').forEach(function(x){x.style.width=x.dataset.w+'%'})},40);setTimeout(post,60)} sts.forEach(function(s){s.onclick=function(){showSt(+s.dataset.s)}});showSt(0); // benchmarks var M=['Carbon-X','GPT-6.1 Sol (Max)','Opus 5.5 (Max)','Gemini 4 Argon (Low)','Kimi K3 (Low)','DeepSeek V4.1 Flash (Low)','GLM-5.3 (Low)']; var B={'平均':[66.7,67.5,60.9,49.8,50.4,47.1,39.8],'BioReason コーディング':[74.9,71.0,70.3,6.5,53.9,51.4,52.1],'BioReason 非SNV':[85.1,91.7,94.8,90.3,65.3,55.9,60.1],'GenomeQA':[63.6,67.2,62.2,63.1,52.0,49.7,44.6],'NextBase':[39.4,32.9,1.1,31.2,30.6,27.2,9.7],'FrontierVEP':[70.4,74.9,76.2,58.0,50.1,51.3,32.7]}; var N={'平均':'Carbon-XはGPT-6.1 Solに0.8ポイント及ばず、Qwen3-14Bより27ポイント高い位置にあります。','BioReason コーディング':'コーディングバリアントの効果、1,018バリアント。Carbon-Xはテストされた全モデルをリードしています。','BioReason 非SNV':'挿入、欠失、その他の非SNV変化、873バリアント。Opus 5.5がリードしています。','GenomeQA':'6タスクにわたる2,600問の多肢選択問題。GPT-6.1 Solがリードしています。','NextBase':'次塩基予測、600配列。Carbon-Xがリードしており、Opus 5.5は拒否の増加とともに崩壊します。','FrontierVEP':'最大8,192塩基のコンテキストを持つ一塩基バリアント、1,000バリアント。Opus 5.5 がリードしています。'}; var cur='平均',bs=document.getElementById('cx-bsel'),bars=document.getElementById('cx-bars'); Object.keys(B).forEach(function(k){var b=document.createElement('button');b.textContent=k;if(k===cur)b.className='on';b.onclick=function(){bs.querySelectorAll('button').forEach(function(x){x.className=''});b.className='on';cur=k;drawBars(k)};bs.appendChild(b)}); function drawBars(k){var v=B[k];bars.innerHTML=M.map(function(m,i){var me=i===0?' me':'';return '<div class="bar"><div class="nm'+me+'" title="'+m+'">'+m+'</div><div class="tr"><div class="fl'+me+'" data-w="'+v[i]+'"></div></div><div class="v">'+v[i].toFixed(1)+'</div></div>'}).join(''); setTimeout(function(){bars.querySelectorAll('.fl').forEach(function(f){f.style.width=f.dataset.w+'%'})},40);document.getElementById('cx-bnote').textContent=N[k];setTimeout(post,60)} drawBars(cur); // cost function anim(el,to,fmt){var t0=null;function f(ts){if(!t0)t0=ts;var p=Math.min(1,(ts-t0)/1000),e=1-Math.pow(1-p,3);el.textContent=fmt(to*e);if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)} function countUp(){anim(document.getElementById('cx-c1'),300,function(x){return '$'+Math.round(x)});anim(document.getElementById('cx-c2'),1800,function(x){return '~'+Math.round(x).toLocaleString('en-US')+'x'});anim(document.getElementById('cx-c3'),11.1,function(x){return '+'+x.toFixed(1)})} // limits R.querySelectorAll('.lim .box').forEach(function(b){b.onclick=function(){b.classList.toggle('open');setTimeout(post,380)}}); window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> </body></html> " style="width:100%;height:600px;border:0;display:block;background:transparent;" loading="lazy">Carbon-Xの実行コストはいくらですか？
Hugging Faceは、H200上で測定したスループットに基づきCarbon-Xを1時間あたり5ドルと価格設定している。この計算によると、同社はGPT-6.1 Solの問題あたり推論コストの約1/1,800と報告している。意義不明のClinVarバリアント240万件のスコアリングには約300ドルかかる。同じ作業をフロンティアモデルで行うと32,000ドルから400万ドルかかる。
Carbon-Xはサブエージェントとしても機能します。Kimi K3はCarbon-Xに相談した際、DNA指数が49.4%から60.5%に上昇しました。
Carbon-Xのデプロイ方法は?
- vLLM:
vllm serve HuggingFaceBio/Carbon-X --trust-remote-code1 x 80 GB GPU 上で。 - トランスフォーマー: v5以降、
trust_remote_code=TrueDNA トークナイザー用。 - llama.cpp: 公式 Carbon-X-GGUF リポジトリが必要です llama.cpp b11742 `またはそれ以降。古いビルドでは DNA のトークン化が誤って行われます。`
- エージェント: このリポジトリには、OpenAIスタイルのツール、Inspectエージェント、そして
carbon-dnaコーディングエージェント向けのスキルです。
保管 enable_thinking=False. モデルはそのように事後学習および評価されました。
Carbon-Xは他のDNAモデルや汎用モデルと比べてどうですか?
| 特集 | Carbon-X | Qwen3-14B | GPT-6.1 Sol | Evo 2 40B |
|---|---|---|---|---|
| 開発者 | Hugging Face + パートナー | アリババQwen | OpenAI | Arc Institute |
| パラメータ | 14.8B | 14.8B | 非公開 | 40B |
| コンテキスト | 40,960トークン | ネイティブで32,768、YaRN使用時は131,072 | 非公開 | 最大1Mのシーケンス長 |
| 入力 | DNA + 英語 | テキスト | テキスト(汎用) | DNAのみ |
| 英語で回答 | はい | はい | はい | いいえ |
| ライセンス | Apache 2.0 | Apache 2.0 | プロプライエタリ、APIのみ | Apache 2.0 |
| DNA平均(HF eval) | 66.7% | ~40.0% | 67.5%(最大) | 未評価 |
| BioReason Coding | 74.9% | 非公開 | 71.0% | 未評価 |
| 価格 | オープンウェイト | オープンウェイト | 入力 / 出力トークン1Mあたり$2 / $10 | オープンウェイト |
主な要点
- Carbon-Xは、DNAを読み取り英語で回答する14.8Bのオープンモデルです。
- 5つのDNAベンチマークで平均66.7%を記録し、GPT-6.1 Solに0.8ポイント差で続いています。
- BioReason Coding(74.9%)とNextBase(39.4%)では、テストされたすべてのモデルをリードしています。
- 80 GBのGPU 1基、または15.8 GBのQ8_0 GGUFで動作します。
- スプライスサイトの精度は29.8%であり、臨床的に検証されていません。
以下をご覧ください: モデルカード, リリースブログ, GGUF重み および GitHubリポジトリ「。また、ぜひ私たちをフォローしてください」 Twitter そして、私たちの 150k+ ML SubReddit および Subscribe to 当社のニュースレター。待ってください!あなたはTelegramを使っていますか? Telegramでもご参加いただけるようになりました。
GitHubリポジトリ、Hugging Faceページ、製品リリース、ウェビナーなどのプロモーションで当社との提携をご希望ですか? 私たちとつながりましょう
この投稿 Hugging Face、DNAと自然言語を初めて統合する14BのオープンDNA言語モデル「Carbon-X」をリリース 最初に掲載されたのは MarkTechPost.