Hugging Face가 공개했습니다 Carbon-X, 14.8B 파라미터를 갖춘 오픈 DNA 언어 모델입니다. Carbon-X는 Hugging Face Bio의 decoder-only 모델로, 채팅에서 원시 DNA를 읽고 영어로 답변합니다. 변이가 양성인지 병원성인지 예측하고, 조절 영역을 표시하며, 생물을 분류하고 다음 염기를 예측합니다. 가중치는 Apache 2.0 라이선스로 제공되므로 연구실은 민감한 서열을 자체 GPU에 보관할 수 있습니다. Hugging Face는 Zhongguancun Academy 및 TIGEM / University of Naples Federico II와 함께 이 모델을 개발했습니다.
TL;DR
- 크기: 14.8B 파라미터(dense, MoE 없음), 40,960토큰 컨텍스트.
- 실행 환경: vLLM 또는 Transformers를 통해 bfloat16 형식의 80 GB GPU 1개. 공식 GGUF: Q8_0은 15.8 GB, Q4_K_M은 9.6 GB입니다.
- 성능: DNA 벤치마크 5개에서 평균 66.7%로, 테스트된 모든 오픈 모델 중 최고 성능(자체 보고 기준).
- 최고: BioReason Coding에서 74.9%를 기록하며 테스트된 모든 모델, 공개형이든 비공개형이든 앞섰습니다.
- 최악: GenomeQA 스플라이스 부위 질문에서 29.8%.
Carbon-X란 무엇이며 어떻게 작동하나요?
탄소-X는 다음에서 시작합니다. Qwen3-14B. DNA와 텍스트는 1개의 디코더에서 1개의 토큰 스트림을 공유합니다. 이전 연구(예: BioReason.
핵심 구조 요소는 하이브리드 토크나이저입니다. 텍스트에는 Qwen3의 BPE 어휘를 유지하고 5,515개의 DNA 토큰을 추가합니다. 여기에는 겹치지 않는 6-머(6-mers) 4,096개, 테일 토큰 1,364개 및 마커 3개가 포함됩니다. 하나의 DNA 토큰은 6개의 염기쌍을 커버합니다. 6개 이상의 A/C/G/T 염기로 이루어진 DNA 서열은 자동으로 태그가 지정됩니다.
백본은 표준 Qwen3 스택입니다. 40개의 레이어, 5120의 hidden size, 8개의 KV 헤드를 가진 GQA를 갖추고 있습니다.
Carbon-X는 어떻게 학습되었나요?
학습은 다음에 따라 4단계로 진행되었습니다. 모델 카드:
- 임베딩 워밍업: 약 10B 토큰으로 학습하되 트랜스포머는 고정하여 새로운 DNA 임베딩만 학습하도록 했습니다.
- 훈련 중간 단계: 8,192 시퀀스 길이에서 302B 토큰. 구성은 원시 DNA 55%, 영어 20%, 생물학 텍스트 15%, 지시 데이터 10%입니다.
- SFT: 20개 데이터셋 하위 집합에 대해 3 에포크 학습을 진행했으며, 응답은 도메인 전문가들과 함께 구축된 결정론적 검증기로 검사했습니다.
- RL: 검증 가능한 보상을 활용한 비동기 GRPO를 2 라운드에 걸쳐 수행하며, TRL 및 vLLM.
~에 따라 출시 게시물, 학습률이 가장 다루기 어려운 조절 장치였습니다. 높은 학습률은 DNA는 배웠지만 영어를 잊어버렸습니다. 더 낮은 학습률, 14B 모델, 그리고 긴 학습 실행이 이 상충 관계를 해결했습니다. Qwen3-14B에 직접 적용한 RL은 FrontierVEP에서 50% 확률 기준선을 결코 넘지 못했습니다.
Carbon-X는 DNA 벤치마크에서 어떤 성능을 보이나요?
모든 점수는 Hugging Face가 자체 보고한 것입니다. Carbon-X는 thinking을 비활성화한 상태로 실행되었습니다. 경쟁 모델들은 각자 최고의 reasoning effort로 실행되었습니다.
| 벤치마크 | Carbon-X | GPT-6.1 Sol (Max) | Opus 5.5 (Max) | Kimi K3 (Low) |
|---|---|---|---|---|
| BioReason 코딩 | 74.9 | 71.0 | 70.3 | 53.9 |
| BioReason Non-SNV | 85.1 | 91.7 | 94.8 | 65.3 |
| GenomeQA | 63.6 | 67.2 | 62.2 | 52.0 |
| NextBase | 39.4 | 32.9 | 1.1 | 30.6 |
| FrontierVEP | 70.4 | 74.9 | 76.2 | 50.1 |
| 평균 | 66.7 | 67.5 | 60.9 | 50.4 |
Carbon-X는 Qwen3-14B보다 27점 높고 GPT-6.1 Sol보다 0.8점 낮습니다. 코딩 변이 효과와 next-base 예측에서 선두입니다. 프런티어 모델들은 여전히 복합 변이와 단일 염기 변이에서 우위입니다.
거부(refusal)가 이 수치들을 형성합니다. NextBase에서 Opus 5.5는 낮은 effort에서 17.7%에서 최대 effort에서 거부가 증가함에 따라 1.1%로 떨어집니다. Gemini 4 Argon은 effort가 증가함에 따라 FrontierVEP에서 58%에서 38%로 하락합니다.
Carbon-X는 일반 능력도 유지합니다: IFEval에서 프롬프트 수준 엄격 정확도 79.3%.
Tokenize</button><button class="btn gh" id="cx-rst">Reset</button></div> <p class="note">5,515개의 DNA 토큰 추가: 6-머 4,096개, 테일 토큰 1,364개, 마커 3개(<dna>, </dna>, <oov>). 컨텍스트: 40,960 토큰.</p> </div> <div class="pnl" data-i="1"> <p class="lead"><b>Qwen3-14B</b>를 기반으로 4단계에 걸쳐 구축되었습니다. 단계를 클릭하세요.</p> <div class="flow" id="cx-flow"> <div class="st on" data-s="0"><div class="n">01</div><div class="t1">Warmup</div><div class="t2">~10B 토큰</div></div> <div class="st" data-s="1"><div class="n">02</div><div class="t1">Mid-training</div><div class="t2">302B 토큰</div></div> <div class="st" data-s="2"><div class="n">03</div><div class="t1">SFT</div><div class="t2">3 에포크</div></div> <div class="st" data-s="3"><div class="n">04</div><div class="t1">RL</div><div class="t2">Async GRPO</div></div> </div> <div class="box det" id="cx-det"></div> </div> <div class="pnl" data-i="2"> <p class="lead">thinking을 끈 Carbon-X와 최고의 reasoning effort를 발휘한 경쟁 모델들의 비교.</p> <div class="bsel" id="cx-bsel"></div> <div id="cx-bars"></div> <p class="note" id="cx-bnote"></p> </div> <div class="pnl" data-i="3"> <p class="lead"><b>시간당 $5의 H200</b>에서 측정된 처리량 기준으로 가격 책정.</p> <div class="grid2"> <div class="box"><div class="big" id="cx-c1">$0</div><div class="cap">Carbon-X로 불확실한 의미를 지닌 2.4M ClinVar 변이를 스코어링하는 예상 비용.</div></div> <div class="box"><div class="big" style="color:#a7adbb!important">$32K ~ $4M</div><div class="cap">Hugging Face가 평가한 프런티어 모델들에서 모델과 effort에 따라 동일한 작업을 수행한 비용.</div></div> <div class="box"><div class="big" id="cx-c2">0x</div><div class="cap">GPT-6.1 Sol 대비 문제당 낮은 추론 비용 (모델 카드: 약 1/1,800).</div></div> <div class="box"><div class="big" id="cx-c3">+0.0</div><div class="cap">Kimi K3가 Carbon-X를 서브 에이전트로 활용할 때 얻은 점수 향상 (49.4%에서 60.5%).</div></div> </div> </div> <div class="pnl" data-i="4"> <p class="lead">임상적으로 검증되지 않았습니다. 자세한 내용은 카드를 탭하세요.</p> <div class="lim"> <div class="box"><div class="h">스플라이스 부위 <em>29.8%</em></div><div class="b">가장 약한 GenomeQA 작업. 히스톤 마크도 34.6%로 낮습니다.</div></div> <div class="box"><div class="h">정확한 연산 <em>!</em></div><div class="b">긴 서열에서 염기 수를 잘못 세거나 좌표를 혼동할 수 있습니다. 계산과 편집에는 코드를 사용하세요.</div></div> <div class="box"><div class="h">환각 <em>!</em></div><div class="b">컨텍스트 없이 서열의 정체성을 지어낼 수 있습니다. 유전자, 가닥, 주석을 제공하세요.</div></div> <div class="box"><div class="h">긴 생성 <em>!</em></div><div class="b">긴 DNA 생성에서 품질이 저하됩니다. 모델 카드에 따르면 새로운 서열을 설계하도록 훈련되지 않았습니다.</div></div> </div> </div> <div class="ft"><span>출처: HuggingFaceBio/Carbon-X 모델 카드 및 릴리스 블로그</span><span class="mtp">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-cx'); function post(){try{parent.postMessage({mtpcx:1,h:R.offsetHeight+40},'*')}catch(e){}} var tabs=R.querySelectorAll('.tab'),pn=R.querySelectorAll('.pnl'); tabs.forEach(function(t){t.onclick=function(){tabs.forEach(function(x){x.classList.remove('on')});pn.forEach(function(x){x.classList.remove('on')});t.classList.add('on');var p=R.querySelector('.pnl[data-i="'+t.dataset.p+'"]');p.classList.add('on');if(t.dataset.p==='2')drawBars(cur);if(t.dataset.p==='3')countUp();setTimeout(post,60)}}); // 토크나이저 var TOK=[['이','t'],['시퀀스를','t'],['설명하세요','t'],[':','t'],['<dna>','m'],['ACGTAC','d'],['GATTCA','d'],['TATAAA','d'],['</dna>','m']]; var box=document.getElementById('cx-toks'),timer=[]; function build(){box.innerHTML='';TOK.forEach(function(k){var s=document.createElement('span');s.className='tk '+k[1];s.textContent=k[0];box.appendChild(s)})} build(); document.getElementById('cx-tok').onclick=function(){timer.forEach(clearTimeout);build();var el=box.children;for(var i=0;i<el.length;i++)(function(i){timer.push(setTimeout(function(){el[i].classList.add('show')},120*i+40))})(i)}; document.getElementById('cx-rst').onclick=function(){timer.forEach(clearTimeout);build()}; // 학습 var ST=[ {h:'임베딩 워밍업',p:'새로운 DNA 토큰은 무작위 임베딩을 받습니다. 약 10B 토큰으로 해당 임베딩만 학습하며, 트랜스포머 본체는 동결된 상태로 유지됩니다.',mix:null}, {h:'중간 학습: 302B 토큰',p:'시퀀스 길이 8,192, 코사인 LR 5e-5에서 5e-6. 더 낮은 LR, 14B 모델, 긴 학습 실행을 통해 영어를 유지하면서 DNA를 학습했습니다.',mix:[[55,'#ffb84d','원시 DNA 55%'],[20,'#7cc4ff','영어 20%'],[15,'#FF9D00','생물학 텍스트 15%'],[10,'#FFD21E','지시문 10%']]}, {h:'지도 미세 조정',p:'20개 데이터셋 하위 집합에 걸쳐 3 에포크. 변이 효과 추론은 믹스의 약 30%를 차지합니다. 답변은 도메인 전문가와 함께 구축된 결정론적 검증기로 확인되었습니다.',mix:null}, {h:'강화 학습',p:'코드 검증 보상을 사용하는 비동기 GRPO, 2 라운드, 프롬프트당 16 샘플. FrontierVEP에서 Qwen3-14B만으로 진행한 RL은 50% 확률 기준선을 한 번도 넘지 못했습니다.',mix:null}]; var det=document.getElementById('cx-det'),sts=R.querySelectorAll('.st'); function showSt(i){sts.forEach(function(s){s.classList.toggle('on',s.dataset.s==i)});var s=ST[i],h='<div style="font-weight:700;font-size:15px;color:#FFD21E">'+s.h+'</div><div class="cap" style="font-size:13px">'+s.p+'</div>'; if(s.mix){h+='<div class="mix">'+s.mix.map(function(m){return '<i style="background:'+m[1]+'" data-w="'+m[0]+'"></i>'}).join('')+'</div><div class="leg">'+s.mix.map(function(m){return '<span style="--c:'+m[1]+'">'+m[2]+'</span>'}).join('')+'</div>'} det.innerHTML=h;if(s.mix)setTimeout(function(){det.querySelectorAll('.mix i').forEach(function(x){x.style.width=x.dataset.w+'%'})},40);setTimeout(post,60)} sts.forEach(function(s){s.onclick=function(){showSt(+s.dataset.s)}});showSt(0); // 벤치마크 var M=['Carbon-X','GPT-6.1 Sol (Max)','Opus 5.5 (Max)','Gemini 4 Argon (Low)','Kimi K3 (Low)','DeepSeek V4.1 Flash (Low)','GLM-5.3 (Low)']; var B={'평균':[66.7,67.5,60.9,49.8,50.4,47.1,39.8],'BioReason 코딩':[74.9,71.0,70.3,6.5,53.9,51.4,52.1],'BioReason 비-SNV':[85.1,91.7,94.8,90.3,65.3,55.9,60.1],'GenomeQA':[63.6,67.2,62.2,63.1,52.0,49.7,44.6],'NextBase':[39.4,32.9,1.1,31.2,30.6,27.2,9.7],'FrontierVEP':[70.4,74.9,76.2,58.0,50.1,51.3,32.7]}; var N={'평균':'Carbon-X는 GPT-6.1 Sol보다 0.8점 뒤처지며 Qwen3-14B보다 27점 높은 위치입니다.','BioReason 코딩':'코딩 변이 효과, 1,018개 변이. 테스트된 모든 모델 중 Carbon-X가 선두입니다.','BioReason 비-SNV':'삽입, 삭제 및 기타 비-SNV 변화, 873개 변이. Opus 5.5가 선두입니다.','GenomeQA':'6개 작업에 걸친 2,600개 객관식 문제. GPT-6.1 Sol이 선두입니다.','NextBase':'다음 염기 예측, 600개 시퀀스. Carbon-X가 선두입니다. 거부가 늘어나면서 Opus 5.5는 무너집니다.','FrontierVEP':'최대 8,192염기 컨텍스트의 단일 염기 변이, 1,000개 변이. Opus 5.5 가 선두입니다.'}; var cur='평균',bs=document.getElementById('cx-bsel'),bars=document.getElementById('cx-bars'); Object.keys(B).forEach(function(k){var b=document.createElement('button');b.textContent=k;if(k===cur)b.className='on';b.onclick=function(){bs.querySelectorAll('button').forEach(function(x){x.className=''});b.className='on';cur=k;drawBars(k)};bs.appendChild(b)}); function drawBars(k){var v=B[k];bars.innerHTML=M.map(function(m,i){var me=i===0?' me':'';return '<div class="bar"><div class="nm'+me+'" title="'+m+'">'+m+'</div><div class="tr"><div class="fl'+me+'" data-w="'+v[i]+'"></div></div><div class="v">'+v[i].toFixed(1)+'</div></div>'}).join(''); setTimeout(function(){bars.querySelectorAll('.fl').forEach(function(f){f.style.width=f.dataset.w+'%'})},40);document.getElementById('cx-bnote').textContent=N[k];setTimeout(post,60)} drawBars(cur); // 비용 function anim(el,to,fmt){var t0=null;function f(ts){if(!t0)t0=ts;var p=Math.min(1,(ts-t0)/1000),e=1-Math.pow(1-p,3);el.textContent=fmt(to*e);if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)} function countUp(){anim(document.getElementById('cx-c1'),300,function(x){return '$'+Math.round(x)});anim(document.getElementById('cx-c2'),1800,function(x){return '~'+Math.round(x).toLocaleString('en-US')+'x'});anim(document.getElementById('cx-c3'),11.1,function(x){return '+'+x.toFixed(1)})} // 한계 R.querySelectorAll('.lim .box').forEach(function(b){b.onclick=function(){b.classList.toggle('open');setTimeout(post,380)}}); window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> </body></html> " style="width:100%;height:600px;border:0;display:block;background:transparent;" loading="lazy">Carbon-X를 실행하는 데 비용은 얼마나 드나요?
Hugging Face는 H200에서의 측정된 처리량 기준으로 Carbon-X의 가격을 시간당 $5로 책정했습니다. 이 기준으로 문제당 GPT-6.1 Sol 추론 비용의 약 1/1,800을 보고합니다. 불확실한 의미를 지닌 2.4백만 개의 ClinVar 변이를 채점하는 데 약 $300이 듭니다. 동일한 작업을 프론티어 모델에서 수행하면 $32,000에서 $4백만이 듭니다.
Carbon-X는 서브 에이전트로도 작동합니다. Kimi K3는 Carbon-X를 참조했을 때 DNA 지수가 49.4%에서 60.5%로 상승했습니다.
Carbon-X는 어떻게 배포하나요?
- vLLM:
vllm serve HuggingFaceBio/Carbon-X --trust-remote-code1 x 80 GB GPU에서. - Transformers: v5 이상, 그리고
trust_remote_code=TrueDNA 토크나이저를 위해. - llama.cpp: 공식 Carbon-X-GGUF 저장소에는 llama.cpp b11742 이상이 필요합니다. 구버전 빌드는 DNA를 잘못 토큰화합니다.
- 에이전트: 저장소에는 OpenAI 스타일 도구, Inspect 에이전트 및 코딩 에이전트용
carbon-dna스킬이 포함되어 있습니다.
유지하세요 enable_thinking=False. 모델은 그런 방식으로 사후 학습 및 평가되었습니다.
Carbon-X는 다른 DNA 및 범용 모델과 어떻게 비교되나요?
| 특징 | Carbon-X | Qwen3-14B | GPT-6.1 Sol | Evo 2 40B |
|---|---|---|---|---|
| 개발자 | Hugging Face + 파트너 | Alibaba Qwen | OpenAI | Arc Institute |
| 파라미터 | 14.8B | 14.8B | 공개되지 않음 | 40B |
| 컨텍스트 | 40,960 토큰 | 기본 32,768, YaRN 적용 시 131,072 | 공개되지 않음 | 최대 1M 시퀀스 길이 |
| 입력 | DNA + 영어 | 텍스트 | 텍스트 (범용) | DNA 전용 |
| 영어로 답변 | 예 | 예 | 예 | 아니오 |
| 라이선스 | Apache 2.0 | Apache 2.0 | 독점 라이선스, API 전용 | Apache 2.0 |
| DNA 평균 (HF 평가) | 66.7% | ~40.0% | 67.5% (최대) | 평가되지 않음 |
| BioReason Coding | 74.9% | 공개되지 않음 | 71.0% | 평가되지 않음 |
| 가격 | 오픈 웨이트 | 오픈 웨이트 | 1M 입력 / 출력 토큰당 $2 / $10 | 오픈 웨이트 |
핵심 요약
- Carbon-X는 DNA를 읽고 영어로 답변하는 14.8B 오픈 모델입니다.
- DNA 벤치마크 5개에서 평균 66.7%를 기록했으며, GPT-6.1 Sol보다 0.8점 뒤처졌습니다.
- BioReason Coding (74.9%)과 NextBase (39.4%)에서 테스트된 모든 모델을 앞섭니다.
- 1 x 80 GB GPU 또는 15.8 GB Q8_0 GGUF로 실행할 수 있습니다.
- 스플라이스 부위 정확도는 29.8%이며, 임상 검증은 이루어지지 않았습니다.
다음을 확인해 보세요: 모델 카드, 출시 블로그, GGUF 가중치 및 GitHub 저장소. 또한 저희를 Twitter 에서 팔로우하고 150k+ ML SubReddit 에 참여하고 our Newsletter을 구독하는 것도 잊지 마세요. 잠깐! 텔레그램을 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
GitHub 저장소, Hugging Face 페이지, 제품 출시, 웨비나 등을 홍보하기 위해 저희와 파트너십이 필요하신가요? 저희에게 연락하세요
이 글은 Hugging Face, DNA와 자연어를 처음으로 하나로 묶는 14B 규모 오픈 DNA 언어 모델 Carbon-X 공개 제목으로 처음 게시되었습니다 MarkTechPost.