Hugging Face hat veröffentlicht Carbon-X, ein offenes DNA-Sprachmodell mit 14.8B Parametern. Carbon-X ist ein Decoder-only-Modell von Hugging Face Bio. Es liest rohe DNA im Chat-Format und antwortet auf Englisch. Es sagt voraus, ob Mutationen benign oder pathogen sind, markiert regulatorische Regionen, klassifiziert Organismen und sagt die nächsten Basen voraus. Die Gewichte werden unter Apache 2.0 veröffentlicht, sodass Labs sensible Sequenzen auf ihren eigenen GPUs behalten können. Hugging Face hat es gemeinsam mit der Zhongguancun Academy und TIGEM / University of Naples Federico II entwickelt.
TL;DR
- Größe: 14,8 Mrd. Parameter (dicht, kein MoE), 40.960-Token-Kontext.
- Läuft auf: 1 x 80 GB GPU in bfloat16 via vLLM oder Transformers. Offizielles GGUF: Q8_0 ist 15,8 GB, Q4_K_M ist 9,6 GB.
- Leistung: 66,7 % Durchschnitt über 5 DNA-Benchmarks, das beste aller getesteten offenen Modelle (selbst berichtet).
- Bestes Ergebnis: 74,9 % bei BioReason Coding, vor allen getesteten Modellen, offen oder geschlossen.
- Schlechtestes Ergebnis: 29,8 % bei GenomeQA-Spleißstellen-Fragen.
Was ist Carbon-X und wie funktioniert es?
Carbon-X beginnt mit Qwen3-14B. DNA und Text teilen sich 1 Token-Strom in 1 Decoder. Es gibt keinen separaten DNA-Encoder, anders als bei früheren Arbeiten wie BioReason.
Das zentrale Strukturmerkmal ist ein hybrider Tokenizer. Er behält Qwen3s BPE-Vokabular für Text bei und fügt 5.515 DNA-Token hinzu. Dazu gehören 4.096 nicht überlappende 6-mers, 1.364 Tail-Token und 3 Marker. Ein DNA-Token deckt 6 Basenpaare ab. DNA-Sequenzen mit 6 oder mehr A/C/G/T-Basen werden automatisch markiert.
Das Backbone ist ein Standard-Qwen3-Stack. Es hat 40 Layer, eine versteckte Größe von 5120 und GQA mit 8 KV-Köpfen.
Wie wurde Carbon-X trainiert?
Das Training lief in vier Phasen, laut der Modellkarte:
- Embedding-Warmup: etwa 10B Token mit eingefrorenem Transformer, sodass nur die neuen DNA-Embeddings lernen.
- Mid-Training: 302B Token bei 8.192 Sequenzlänge. Die Mischung besteht aus 55 % roher DNA, 20 % Englisch, 15 % Biologie-Text und 10 % Instruktionsdaten.
- SFT: 3 Epochen über 20 Datensatz-Subsets, wobei die Antworten von deterministischen Verifizierern geprüft wurden, die gemeinsam mit Domänenexperten entwickelt wurden.
- RL: asynchrones GRPO mit verifizierbaren Belohnungen über 2 Runden, unter Verwendung von TRL und vLLM.
Laut dem Release-Post war die Lernrate der schwierigste Stellhebel. Hohe Raten lernten DNA, vergaßen aber Englisch. Eine niedrigere Rate, ein 14B-Modell und ein langer Lauf lösten den Kompromiss. RL, das direkt auf Qwen3-14B angewendet wurde, übertraf niemals die 50%-Zufallsbaseline bei FrontierVEP.
Wie schneidet Carbon-X bei DNA-Benchmarks ab?
Alle Scores wurden von Hugging Face selbst berichtet. Carbon-X lief mit deaktiviertem Thinking. Wettbewerber liefen mit ihrem besten Reasoning-Aufwand.
| Benchmark | Carbon-X | GPT-6.1 Sol (Max) | Opus 5.5 (Max) | Kimi K3 (Low) |
|---|---|---|---|---|
| BioReason Coding | 74.9 | 71.0 | 70.3 | 53.9 |
| BioReason Non-SNV | 85.1 | 91.7 | 94.8 | 65.3 |
| GenomeQA | 63.6 | 67.2 | 62.2 | 52.0 |
| NextBase | 39.4 | 32.9 | 1.1 | 30.6 |
| FrontierVEP | 70.4 | 74.9 | 76.2 | 50.1 |
| Durchschnitt | 66.7 | 67.5 | 60.9 | 50.4 |
Carbon-X liegt 27 Punkte über Qwen3-14B und 0.8 Punkte unter GPT-6.1 Sol. Es führt bei Kodierungsvarianten-Effekten und Next-Base-Vorhersage. Frontier-Modelle gewinnen weiterhin bei komplexen Varianten und Einzelbasen-Varianten.
Verweigerungen (Refusals) prägen diese Zahlen. Bei NextBase sinkt Opus 5.5 von 17.7% bei niedrigem Aufwand auf 1.1% bei maximalem Aufwand, während die Verweigerungen zunehmen. Gemini 4 Argon fällt bei FrontierVEP von 58% auf 38%, wenn der Aufwand steigt.
Carbon-X behält auch allgemeine Fähigkeiten: 79.3% prompt-level strict accuracy bei IFEval.
Tokenize</button><button class="btn gh" id="cx-rst">Zurücksetzen</button></div> <p class="note">5,515 DNA-Tokens hinzugefügt: 4,096 Sechser-Mer (six-mers), 1,364 End-Tokens und 3 Marker (<dna>, </dna>, <oov>). Kontext: 40,960 Tokens.</p> </div> <div class="pnl" data-i="1"> <p class="lead">Aufgebaut auf <b>Qwen3-14B</b> in 4 Stufen. Klicken Sie auf eine Stufe.</p> <div class="flow" id="cx-flow"> <div class="st on" data-s="0"><div class="n">01</div><div class="t1">Warmup</div><div class="t2">~10B tokens</div></div> <div class="st" data-s="1"><div class="n">02</div><div class="t1">Mid-training</div><div class="t2">302B tokens</div></div> <div class="st" data-s="2"><div class="n">03</div><div class="t1">SFT</div><div class="t2">3 epochs</div></div> <div class="st" data-s="3"><div class="n">04</div><div class="t1">RL</div><div class="t2">Async GRPO</div></div> </div> <div class="box det" id="cx-det"></div> </div> <div class="pnl" data-i="2"> <p class="lead">Carbon-X mit ausgeschaltetem Denken (thinking off) gegenüber Konkurrenten auf ihrem besten Reasoning-Aufwand.</p> <div class="bsel" id="cx-bsel"></div> <div id="cx-bars"></div> <p class="note" id="cx-bnote"></p> </div> <div class="pnl" data-i="3"> <p class="lead">Bepreist nach gemessenem Durchsatz auf einer <b>H200 zu $5/ Stunde</b>.</p> <div class="grid2"> <div class="box"><div class="big" id="cx-c1">$0</div><div class="cap">Geschätzte Kosten, um 2.4M ClinVar-Varianten unklarer Bedeutung mit Carbon-X zu bewerten.</div></div> <div class="box"><div class="big" style="color:#a7adbb!important">$32K bis $4M</div><div class="cap">Dieselbe Aufgabe bei den von Hugging Face evaluierten Frontier-Modellen, je nach Modell und Aufwand.</div></div> <div class="box"><div class="big" id="cx-c2">0x</div><div class="cap">Niedrigere Inferenzkosten pro Problem als GPT-6.1 Sol (Modellkarte: etwa 1/1,800).</div></div> <div class="box"><div class="big" id="cx-c3">+0.0</div><div class="cap">Punktegewinn von Kimi K3, wenn es Carbon-X als Sub-Agenten konsultiert (49.4% auf 60.5%).</div></div> </div> </div> <div class="pnl" data-i="4"> <p class="lead">Nicht klinisch validiert. Tippen Sie auf eine Karte für Details.</p> <div class="lim"> <div class="box"><div class="h">Splice-Stellen <em>29.8%</em></div><div class="b">Schwächste GenomeQA-Aufgabe. Histon-Marker sind mit 34.6% ebenfalls niedrig.</div></div> <div class="box"><div class="h">Exakte Operationen <em>!</em></div><div class="b">Es kann Basen falsch zählen oder Koordinaten in langen Sequenzen verwechseln. Verwenden Sie Code zum Zählen und für Bearbeitungen.</div></div> <div class="box"><div class="h">Halluzination <em>!</em></div><div class="b">Es kann ohne Kontext die Identität einer Sequenz erfinden. Geben Sie Gen, Strang und Annotationen an.</div></div> <div class="box"><div class="h">Lange Generierung <em>!</em></div><div class="b">Die Qualität verschlechtert sich bei langer DNA-Generierung. Die Modellkarte besagt, dass es nicht darauf trainiert wurde, neue Sequenzen zu entwerfen.</div></div> </div> </div> <div class="ft"><span>Quellen: HuggingFaceBio/Carbon-X Modellkarte und Release-Blog</span><span class="mtp">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-cx'); function post(){try{parent.postMessage({mtpcx:1,h:R.offsetHeight+40},'*')}catch(e){}} var tabs=R.querySelectorAll('.tab'),pn=R.querySelectorAll('.pnl'); tabs.forEach(function(t){t.onclick=function(){tabs.forEach(function(x){x.classList.remove('on')});pn.forEach(function(x){x.classList.remove('on')});t.classList.add('on');var p=R.querySelector('.pnl[data-i="'+t.dataset.p+'"]');p.classList.add('on');if(t.dataset.p==='2')drawBars(cur);if(t.dataset.p==='3')countUp();setTimeout(post,60)}}); // tokenizer var TOK=[['Describe','t'],['this','t'],['sequence','t'],[':','t'],['<dna>','m'],['ACGTAC','d'],['GATTCA','d'],['TATAAA','d'],['</dna>','m']]; var box=document.getElementById('cx-toks'),timer=[]; function build(){box.innerHTML='';TOK.forEach(function(k){var s=document.createElement('span');s.className='tk '+k[1];s.textContent=k[0];box.appendChild(s)})} build(); document.getElementById('cx-tok').onclick=function(){timer.forEach(clearTimeout);build();var el=box.children;for(var i=0;i<el.length;i++)(function(i){timer.push(setTimeout(function(){el[i].classList.add('show')},120*i+40))})(i)}; document.getElementById('cx-rst').onclick=function(){timer.forEach(clearTimeout);build()}; // training var ST=[ {h:'Embedding-Warmup',p:'Neue DNA-Tokens erhalten zufällige Embeddings. Etwa 10B Tokens trainieren nur diese Embeddings, während der Transformer-Körper eingefroren bleibt.',mix:null}, {h:'Mid-Training: 302B Tokens',p:'Sequenzlänge 8,192, cosine LR 5e-5 bis 5e-6. Eine niedrigere LR, ein 14B-Modell und ein langer Lauf bewahrten Englisch, während DNA gelernt wurde.',mix:[[55,'#ffb84d','Raw DNA 55%'],[20,'#7cc4ff','English 20%'],[15,'#FF9D00','Biology text 15%'],[10,'#FFD21E','Instruction 10%']]}, {h:'Supervised Fine-Tuning',p:'3 Epochen über 20 Datensatz-Subsets. Variant-Effect-Reasoning macht etwa 30% der Mischung aus. Antworten wurden von deterministischen Verifizierern geprüft, die mit Domänenexperten erstellt wurden.',mix:null}, {h:'Reinforcement Learning',p:'Asynchrones GRPO mit code-geprüften Rewards, 2 Runden, 16 Stichproben pro Prompt. RL allein auf Qwen3-14B übertraf die 50%-Zufallsbasis bei FrontierVEP nie.',mix:null}]; var det=document.getElementById('cx-det'),sts=R.querySelectorAll('.st'); function showSt(i){sts.forEach(function(s){s.classList.toggle('on',s.dataset.s==i)});var s=ST[i],h='<div style="font-weight:700;font-size:15px;color:#FFD21E">'+s.h+'</div><div class="cap" style="font-size:13px">'+s.p+'</div>'; if(s.mix){h+='<div class="mix">'+s.mix.map(function(m){return '<i style="background:'+m[1]+'" data-w="'+m[0]+'"></i>'}).join('')+'</div><div class="leg">'+s.mix.map(function(m){return '<span style="--c:'+m[1]+'">'+m[2]+'</span>'}).join('')+'</div>'} det.innerHTML=h;if(s.mix)setTimeout(function(){det.querySelectorAll('.mix i').forEach(function(x){x.style.width=x.dataset.w+'%'})},40);setTimeout(post,60)} sts.forEach(function(s){s.onclick=function(){showSt(+s.dataset.s)}});showSt(0); // benchmarks var M=['Carbon-X','GPT-6.1 Sol (Max)','Opus 5.5 (Max)','Gemini 4 Argon (Low)','Kimi K3 (Low)','DeepSeek V4.1 Flash (Low)','GLM-5.3 (Low)']; var B={'Average':[66.7,67.5,60.9,49.8,50.4,47.1,39.8],'BioReason Coding':[74.9,71.0,70.3,6.5,53.9,51.4,52.1],'BioReason Non-SNV':[85.1,91.7,94.8,90.3,65.3,55.9,60.1],'GenomeQA':[63.6,67.2,62.2,63.1,52.0,49.7,44.6],'NextBase':[39.4,32.9,1.1,31.2,30.6,27.2,9.7],'FrontierVEP':[70.4,74.9,76.2,58.0,50.1,51.3,32.7]}; var N={'Average':'Carbon-X liegt 0.8 Punkte hinter GPT-6.1 Sol und 27 Punkte über Qwen3-14B.','BioReason Coding':'Coding-Varianteneffekte, 1,018 Varianten. Carbon-X liegt vor allen getesteten Modellen.','BioReason Non-SNV':'Insertionen, Deletionen und andere Non-SNV-Veränderungen, 873 Varianten. Opus 5.5 führt.','GenomeQA':'2,600 Multiple-Choice-Fragen über 6 Aufgaben. GPT-6.1 Sol führt.','NextBase':'Next-Base-Vorhersage, 600 Sequenzen. Carbon-X führt; Opus 5.5 bricht ein, da die Ablehnungen zunehmen.','FrontierVEP':'Single-Base-Varianten mit bis zu 8,192-Base-Kontext, 1,000 Varianten. Opus 5.5 führt.'}; var cur='Average',bs=document.getElementById('cx-bsel'),bars=document.getElementById('cx-bars'); Object.keys(B).forEach(function(k){var b=document.createElement('button');b.textContent=k;if(k===cur)b.className='on';b.onclick=function(){bs.querySelectorAll('button').forEach(function(x){x.className=''});b.className='on';cur=k;drawBars(k)};bs.appendChild(b)}); function drawBars(k){var v=B[k];bars.innerHTML=M.map(function(m,i){var me=i===0?' me':'';return '<div class="bar"><div class="nm'+me+'" title="'+m+'">'+m+'</div><div class="tr"><div class="fl'+me+'" data-w="'+v[i]+'"></div></div><div class="v">'+v[i].toFixed(1)+'</div></div>'}).join(''); setTimeout(function(){bars.querySelectorAll('.fl').forEach(function(f){f.style.width=f.dataset.w+'%'})},40);document.getElementById('cx-bnote').textContent=N[k];setTimeout(post,60)} drawBars(cur); // cost function anim(el,to,fmt){var t0=null;function f(ts){if(!t0)t0=ts;var p=Math.min(1,(ts-t0)/1000),e=1-Math.pow(1-p,3);el.textContent=fmt(to*e);if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)} function countUp(){anim(document.getElementById('cx-c1'),300,function(x){return '$'+Math.round(x)});anim(document.getElementById('cx-c2'),1800,function(x){return '~'+Math.round(x).toLocaleString('en-US')+'x'});anim(document.getElementById('cx-c3'),11.1,function(x){return '+'+x.toFixed(1)})} // limits R.querySelectorAll('.lim .box').forEach(function(b){b.onclick=function(){b.classList.toggle('open');setTimeout(post,380)}}); window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300); })(); </script> </body></html> " style="width:100%;height:600px;border:0;display:block;background:transparent;" loading="lazy">Was kostet der Betrieb von Carbon-X?
Hugging Face beziffert Carbon-X anhand des gemessenen Durchsatzes auf einer H200 mit $5 pro Stunde. Auf dieser Basis gibt das Unternehmen etwa 1/1,800 der Inferenzkosten von GPT-6.1 Sol pro Problem an. Das Scoring der 2.4 Millionen ClinVar-Varianten unklarer Signifikanz würde etwa $300 kosten. Dasselbe kostet auf Frontier-Modellen $32,000 bis $4 Millionen.
Carbon-X funktioniert auch als Sub-Agent. Kimi K3s DNA-Index stieg von 49.4% auf 60.5%, als es Carbon-X konsultierte.
Wie deployt man Carbon-X?
- vLLM:
vllm serve HuggingFaceBio/Carbon-X --trust-remote-codeauf 1 x 80 GB GPU. - Transformers: v5 oder höher, mit
trust_remote_code=Truefür den DNA-Tokenizer. - llama.cpp: das offizielle Carbon-X-GGUF Repo benötigt llama.cpp b11742 oder neuer. Ältere Builds tokenisieren DNA falsch.
- Agents: das Repo enthält ein OpenAI-ähnliches Tool, einen Inspect-Agent und eine
carbon-dnaSkill für Coding-Agents.
Behalten Sie enable_thinking=Falsebei. Das Modell wurde auf diese Weise post-trainiert und evaluiert.
Wie schneidet Carbon-X im Vergleich mit anderen DNA- und Allzweckmodellen ab?
| Feature | Carbon-X | Qwen3-14B | GPT-6.1 Sol | Evo 2 40B |
|---|---|---|---|---|
| Entwickler | Hugging Face + Partner | Alibaba Qwen | OpenAI | Arc Institute |
| Parameter | 14.8B | 14,8 Mrd. | Nicht offengelegt | 40 Mrd. |
| Kontext | 40,960 Tokens | 32,768 nativ, 131,072 mit YaRN | Nicht offengelegt | Bis zu 1M Sequenzlänge |
| Eingabe | DNA + Englisch | Text | Text (allgemein) | Nur DNA |
| Antworten auf Englisch | Ja | Ja | Ja | Nein |
| Lizenz | Apache 2.0 | Apache 2.0 | Proprietär, nur API | Apache 2.0 |
| DNA-Durchschnitt (HF eval) | 66.7% | ~40.0% | 67,5% (Max) | Nicht bewertet |
| BioReason Coding | 74.9% | Nicht offengelegt | 71.0% | Nicht bewertet |
| Preis | Offene Gewichte | Offene Gewichte | $2 / $10 pro 1M Input-/Output-Token | Offene Gewichte |
Wichtigste Erkenntnisse
- Carbon-X ist ein offenes Modell mit 14.8B, das DNA liest und auf Englisch antwortet.
- Es erreicht im Durchschnitt 66,7% auf 5 DNA-Benchmarks, 0,8 Punkte hinter GPT-6.1 Sol.
- Es führt jedes getestete Modell bei BioReason Coding (74,9%) und NextBase (39,4%) an.
- Es läuft auf 1 x 80 GB GPU oder als 15,8 GB Q8_0 GGUF.
- Die Genauigkeit bei Splice-Stellen beträgt 29,8%, und es ist nicht klinisch validiert.
Sehen Sie sich die Modellkarte, Release-Blog, GGUF-Gewichte und GitHub-Repo. Schaut gerne auch auf Twitter vorbei und vergesst nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Seid ihr auf Telegram? jetzt könnt ihr uns auch auf Telegram beitreten.
Möchtet ihr mit uns zusammenarbeiten, um euer GitHub-Repo ODER Hugging-Face-Seite ODER Produktlaunch ODER Webinar etc. zu bewerben? Verbindet euch mit uns
Der Beitrag Hugging Face veröffentlicht Carbon-X, ein offenes 14B-DNA-Sprachmodell, das DNA und natürliche Sprache erstmals zusammenbringt erschien zuerst auf MarkTechPost.