You.com hat Inference Router gestartet, eine verwaltete API für den Betrieb von Open-Weight-Modellen in der Produktion. Der You.com Inference Router ist ein OpenAI-kompatibler Dienst, der Anfragen auf 12 Live-Modelle verteilt. Er bietet eine garantierte Mindest-Uptime-SLA von 99,9% und Zero Data Retention (ZDR). Hinzu kommen 100% US-Hosting und serverseitige Websuche. Die Abrechnung erfolgt nutzungsabhängig, ohne Plattformgebühr.
TL;DR
- Größe: 12 Live-Modelle, von GPT-OSS 120B (125K Kontext) bis Kimi K3 und Qwen3.8 Max (1M Kontext). Kimi K3 ist ein Modell mit 2,8T Parametern; Qwen3.8 Max ist ein 2,4T MoE.
- Läuft auf: Vollständig verwaltet. Anfragen treffen zuerst auf You.com Inference Direct und werden bei Ausfall an US-gehostete Partner weitergeleitet. Keine GPUs zu verwalten.
- Leistung: In You.com's LiveNewsBench-Test erreichten Open-Weight-Modelle plus You.com-Suche Frontier-Modelle zu geringeren Kosten.
- Bestes: GLM-5.3 mit You.com-Suche erzielte 86,53%, zu $0,0485 pro Frage gegenüber $0,0920 für Claude Sonnet 5.5 (selbstberichtete Werte).
- Schlechtestes: Die Token-Preise liegen nahe am Marktniveau. Kimi K3 kostet $2,85/$14,25, nur 5% unter Together AI's $3,00/$15,00.
Was ist You.com Inference Router?
Es ist eine API für viele Open-Weight-Modelle. Der Endpunkt ist https://api.you.com, mit OpenAI-kompatiblen und Anthropic-kompatiblen Routen. Vorhandener SDK-Code lässt sich durch Ändern der Base-URL und des Keys übernehmen.
Das You.com-Team rahmt das Problem um stockende Migrationen. Dev-Teams testen Open-Weight-Modelle auf Aggregatoren und stoßen dann auf die Sicherheitsprüfung. Prüfer fragen nach ZDR, US-Hosting, Zugriffskontrollen und DPAs. Dedizierte Anbieter erfüllen diese Anforderungen, meist jedoch nur mit großer Verpflichtung. Inference Router zielt genau auf diese Lücke.
Wie funktionieren Routing und Failover?
Jede Anfrage geht zuerst an You.com Inference Direct, die eigene Inferenz-Kapazität des Unternehmens. Ist diese ausgefallen oder ausgelastet, wird die Anfrage an einen geprüften Partner weitergeleitet. Der offizielle Beitrag nennt Parasail, Wafer, Alibaba Cloud, Meta und Inception, mit Prime Intellect in Kürze. Alle sind zu 100% in den USA gehostet und müssen ZDR-Regeln einhalten.
Failover ändert nichts an der Abrechnung. Jedes Modell hat 1 veröffentlichten Token-Preis. You.com bietet außerdem Ausgabenlimits pro API-Key und tägliche Nutzungsansichten nach Modell, Kosten und Anbieter. Konten laufen auf SOC 2 konformer Infrastruktur, mit einem DPA auf Anfrage.
Was deckt die Zero-Data-Retention ab?
Die ZDR-Richtlinie besagt, dass Prompts und Ausgaben im Arbeitsspeicher verarbeitet und nicht gespeichert werden. Sie umfasst sowohl Modellaufrufe als auch Websuchanfragen. You.com speichert nur operative Metadaten, wie Token-Anzahlen, Zeitstempel und Konto-IDs. Prompt-Hashes, anonymisierter Text und festplattenbasierte Prompt-Caches sind ausdrücklich ausgeschlossen.
Welche Modelle sind verfügbar und was kosten sie?
Die Modelle-Seite listet 12 aktive Modelle auf, alle in den USA gehostet. Die Preise gelten pro 1M Token (Eingabe / Ausgabe):
- Kimi K3 (Moonshot AI): $2.85 / $14.25, 1M Kontext
- Qwen3.8 Max (Alibaba): $1.85 / $5.55, 1M Kontext
- GLM 5.3 (Z.ai): $1.35 / $4.25, 1M Kontext
- DeepSeek V4 Pro: $1.65 / $3.65, 1M Kontext
- DeepSeek V4.1 Flash: $0.30 / $1.20, 1M Kontext
- Mercury 3 (Inception): $0.10 / $0.35, 1M Kontext
- GPT-OSS 120B (OpenAI): $0.097 / $0.73, 125K Kontext
Muse Wonder, Muse Spark 1.3, GLM 5.3 Flash, Qwen3.8 Flash und MiniMax M3 vervollständigen die Liste.
Wie funktioniert die integrierte Websuche?
Entwickler deklarieren ein web_search oder web_extract Tool, und der Router führt die Suchen für das Modell aus. Die Dokumentation zeigt bis zu 20 Ergebnisse pro Suche und einen Standardwert von 30 Suchrunden. Die Antworten geben ein web_results Objekt mit Zitaten zurück.
Die Suche läuft auf demselben Server wie das Modell. You.com sagt, interne Tests zeigten bis zu 15% geringere Latenz.
Anfrage senden</button> <button class="btn" id="ydcSearch">＋ Mit web_search</button> <button class="btn" id="ydcFail"> Ausfall simulieren</button> <span class="status" id="ydcStat">inaktiv</span> </div> </div> <div class="grid3"> <div class="stat"><b>≥99.9%</b><span>Uptime-SLA mit Service-Gutschriften</span></div> <div class="stat"><b>0%</b><span>Plattformgebühr (OpenRouter: 5.5%)</span></div> <div class="stat"><b>Bis zu 15%</b><span>Geringere Latenz, serverseitige Suche (interner Test)</span></div> </div> <p class="note">Failover-Partner, die im Launch-Beitrag genannt werden: Parasail, Wafer, Alibaba Cloud, Meta, Inception; Prime Intellect kommt bald. Failover ändert niemals den Preis.</p> </div> <!-- 1: models --> <div class="pn" data-p="1"> <div class="seg" id="ydcSeg"><button class="on" data-m="in">Eingabe $/1M</button><button data-m="out">Ausgabe $/1M</button></div> <div class="rows" id="ydcModels"></div> <p class="note">Preise pro 1M Tokens von you.com/product/inference-router/models, überprüft am 22. Oktober 2026. Alle Modelle werden in den USA gehostet, mit ZDR.</p> </div> <!-- 2: benchmarks --> <div class="pn" data-p="2"> <div class="seg" id="ydcBseg"><button class="on" data-m="acc">Genauigkeit</button><button data-m="cost">Kosten pro Frage</button></div> <div class="rows" id="ydcBench"></div> <p class="note">LiveNewsBench, 1,329 Fragen, Listenpreise. Die Genauigkeitsbalken beginnen bei 80%. Eigener You.com-Lauf vom Oktober 2026 mit Braintrusts Open-Source-Suche-Eval (selbst berichtet). Lila = Open-Weight + You.com-Suche; grau = geschlossenes Modell mit integrierter Suche.</p> </div> <!-- 3: compare --> <div class="pn" data-p="3"> <div class="tw"><table> <thead><tr><th></th><th>You.com</th><th>OpenRouter</th><th>Together AI</th><th>Fireworks AI</th></tr></thead> <tbody> <tr class="hl"><td>Uptime-SLA</td><td>≥99.9%, nutzungsbasiert</td><td>Nicht offengelegt</td><td>Best-Effort; 99% mit PTU-Verpflichtung</td><td>Nicht offengelegt</td></tr> <tr class="hl"><td>ZDR</td><td>Standard, Modelle + Suche</td><td>Kein Prompt-Logging standardmäßig</td><td>Standardmäßig aus</td><td>Standardmäßig ein (offene Modelle)</td></tr> <tr class="hl"><td>Plattformgebühr</td><td>0%</td><td>5.5%</td><td>Keine angegeben</td><td>Keine angegeben</td></tr> <tr class="hl"><td>Kimi K3 Eingabe/Ausgabe</td><td>$2.85 / $14.25</td><td>Variiert je nach Anbieter</td><td>$3.00 / $15.00</td><td>$3.00 / $15.00 (nur USA $4.50 / $22.50)</td></tr> <tr class="hl"><td>US-Hosting</td><td>100% inkl. Failover</td><td>Variiert</td><td>Nicht offengelegt</td><td>US-Tier zum Aufpreis</td></tr> </tbody> </table></div> <p class="note">Quellen: openrouter.ai/docs/faq, together.ai/pricing, docs.together.ai, docs.fireworks.ai/serverless/pricing. Überprüft am 22. Oktober 2026.</p> </div> <!-- 4: quickstart --> <div class="pn" data-p="4"> <div class="steps"><button class="btn" data-s="0">1 · Installieren</button><button class="btn" data-s="1">2 · Basis-URL ändern</button><button class="btn" data-s="2">3 · Suche hinzufügen</button></div> <pre><code id="ydcCode"></code></pre> <p class="stepTxt" id="ydcStep"></p> </div> <div class="ft"><span>Quellen: you.com Launch-Beitrag, Modellseite, Dokumentation · Zahlen, wo angegeben, selbst berichtet</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div> </div> <script> (function(){ var R=document.getElementById('ydc-ir'); function post(){try{parent.postMessage({ydcH:R.offsetHeight+40},'*')}catch(e){}} R.querySelectorAll('.tab').forEach(function(t){t.onclick=function(){ R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); R.querySelectorAll('.pn').forEach(function(p){p.classList.toggle('on',p.dataset.p==t.dataset.t)}); if(t.dataset.t=='0')layout(); if(t.dataset.t=='1')drawM(); if(t.dataset.t=='2')drawB(); if(t.dataset.t=='4')step(0); setTimeout(post,60);}}); /* routing */ var F=document.getElementById('ydcFlow'),W=document.getElementById('ydcWires'),ST=document.getElementById('ydcStat'); var N={app:'n-app',r:'n-r',s:'n-s',d:'n-d',p:'n-p'},down=false,busy=false; function el(k){return document.getElementById(N[k])} function layout(){var w=F.clientWidth,h=F.clientHeight,m=w<520; var pos=m?{app:[.5,.07],r:[.5,.38],s:[.5,.66],d:[.22,.93],p:[.78,.93]}:{app:[.1,.5],r:[.42,.5],s:[.42,.12],d:[.82,.25],p:[.82,.78]}; for(var k in pos){var e=el(k);e.style.left=(pos[k][0]*w-e.offsetWidth/2)+'px';e.style.top=(pos[k][1]*h-e.offsetHeight/2)+'px'} wires();} function c(k){var e=el(k);return[e.offsetLeft+e.offsetWidth/2,e.offsetTop+e.offsetHeight/2]} function wires(){W.querySelectorAll('path').forEach(function(p){p.remove()}); [['app','r'],['r','s'],['r','d'],['r','p']].forEach(function(pr){var a=c(pr[0]),b=c(pr[1]),p=document.createElementNS('http://www.w3.org/2000/svg','path'); p.setAttribute('d','M'+a[0]+' '+a[1]+' L'+b[0]+' '+b[1]);p.setAttribute('class','w');p.id='w-'+pr[0]+pr[1];W.appendChild(p)})} function clear(){R.querySelectorAll('.node').forEach(function(n){n.classList.remove('hot','fo')});W. querySelectorAll('.w').forEach(function(w){w.classList.remove('act')})} function hot(k,cls){el(k).classList.add(cls||'hot')} function wire(id){var w=document.getElementById('w-'+id);if(w)w.classList.add('act')} function run(search){if(busy)return;busy=true;clear();var t=0,seq=[]; seq.push(function(){hot('app');wire('appr');ST.textContent='Anfrage → Router'}); seq.push(function(){hot('r')}); if(search)seq.push(function(){wire('rs');hot('s');ST.textContent='web_search läuft serverseitig'}); if(!down)seq.push(function(){wire('rd');hot('d');ST.textContent='bereitgestellt von Inference Direct · ZDR'}); else{seq.push(function(){ST.textContent='Inference Direct nicht verfügbar…'}); seq.push(function(){wire('rp');hot('p','fo');ST.textContent='automatisches Failover zum US-Partner · gleicher Preis'})} seq.push(function(){busy=false}); seq.forEach(function(f){setTimeout(f,t);t+=650})} document.getElementById('ydcSend').onclick=function(){run(false)}; document.getElementById('ydcSearch').onclick=function(){run(true)}; document.getElementById('ydcFail').onclick=function(){down=!down;el('d').classList.toggle('down',down);this.textContent=down?'✓ Kapazität wiederherstellen':' Ausfall simulieren';ST.textContent=down?'Inference Direct: offline':'Inference Direct: online'}; window.addEventListener('resize',function(){layout();post()}); /* Modelle */ var M=[['Kimi K3','Moonshot AI · 1M',2.85,14.25],['Muse Wonder','Meta · 1M',4.00,20.00],['Qwen3.8 Max','Alibaba · 1M',1.85,5.55],['DeepSeek V4 Pro','DeepSeek · 1M',1.65,3.65],['GLM 5.3','Z.ai · 1M',1.35,4.25],['Muse Spark 1.3','Meta · 1M',1.25,4.25],['DeepSeek V4.1 Flash','DeepSeek · 1M',0.30,1.20],['MiniMax M3','MiniMax · 512K',0.29,1.16],['GLM 5.3 Flash','Z.ai · 1M',0.14,0.48],['Qwen3.8 Flash','Alibaba · 1M',0.14,0.43],['Mercury 3','Inception · 1M',0.10,0.35],['GPT-OSS 120B','OpenAI · 125K',0.097,0.73]]; var mode='in',MB=document.getElementById('ydcModels'); function drawM(){var i=mode=='in'?2:3,mx=Math.max.apply(null,M.map(function(r){return r[i]})); var s=M.slice(). sort(function(a,b){return b[i]-a[i]}); MB.innerHTML=s.map(function(r){return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i data-w="'+(r[i]/mx*100)+'"></i></div><div class="val">$'+r[i].toFixed(r[i]<0.1?3:2)+'</div></div>'}).join(''); requestAnimationFrame(function(){MB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()} R.querySelectorAll('#ydcSeg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcSeg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');mode=b.dataset.m;drawM()}}); /* Benchmark */ var B=[['GPT-6.1 Sol','integrierte Suche',86.53,0.0591,0],['GLM-5.3','+ You.com-Suche',86.53,0.0485,1],['Claude Sonnet 5.5','integrierte Suche',86.38,0.0920,0],['DeepSeek V4.1 Flash','+ You.com-Suche',84.12,0.0215,1]]; var bm='acc',BB=document.getElementById('ydcBench'); function drawB(){BB.innerHTML=B.map(function(r){var v=bm=='acc'?r[2]:r[3],w=bm=='acc'?(r[2]-80)/(90-80)*100:r[3]/0.0920*100; return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i class="'+(r[4]?'':'alt')+'" data-w="'+w+'"></i></div><div class="val">'+(bm=='acc'?v.toFixed(2)+'%':'$'+v.toFixed(4))+'</div></div>'}).join(''); requestAnimationFrame(function(){BB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()} R.querySelectorAll('#ydcBseg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcBseg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');bm=b.dataset.m;drawB()}}); /* Schnellstart */ var CODE=[ '<span class="c"># Verwenden Sie das standardmäßige OpenAI SDK</span>\npip install openai', '<span class="k">from</span> openai <span class="k">import</span> OpenAI\n\nclient = OpenAI(\n<span class="hlline"> base_url=<span class="s">"https://api.you.com/v1"</span>, <span class="c"># the only line you change</span></span>\n api_key=<span class="s">"YDC_API_KEY"</span>,\n)\n\nresp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>, <span class="s">"content"</span>: <span class="s">"Hello"</span>}],\n)', 'resp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>,\n <span class="s">"content"</span>: <span class="s">"What changed in the latest Python release?"</span>}],\n<span class="hlline"> tools=[{<span class="s">"type"</span>: <span class="s">"web_search"</span>, <span class="s">"freshness"</span>: <span class="s">"month"</span>, <span class="s">"count"</span>: 5}],</span>\n)\n<span class="c"># answer + citations come back in resp.web_results</span>']; var TXT=['Inference Router spricht die OpenAI- und Anthropic-API-Formate, sodass bestehende SDKs funktionieren.','Tauschen Sie die Base-URL und den Key aus. Ihr vorhandener OpenAI-kompatibler Code läuft nun auf dem Inference Router.','Deklarieren Sie ein web_search-Tool, und der Router führt die Suchen serverseitig aus und liefert die Quellen in web_results zurück.']; function step(i){document.getElementById('ydcCode').innerHTML=CODE[i];document.getElementById('ydcStep').textContent=TXT[i]; R.querySelectorAll('.steps .btn').forEach(function(b){b.style.borderColor=b.dataset.s==i?'#7b6cff':''});post()} R.querySelectorAll('.steps .btn').forEach(function(b){b.onclick=function(){step(+b.dataset.s)}}); layout();setTimeout(function(){layout();post()},300);window.addEventListener('load',post);post(); })(); </script> </body></html> ">Was zeigen die Benchmarks?
You.com berichtet von einem LiveNewsBench-Durchlauf mit 1,329 Fragen, unter Verwendung von Braintrusts Open-Source-Suche-Eval. Diese Zahlen sind selbst berichtet:
| Setup | Genauigkeit | Durchschnittliche Kosten pro Frage |
|---|---|---|
| GPT-6.1 Sol, integrierte Suche | 86.53% | $0.0591 |
| GLM-5.3 + You.com-Suche | 86.53% | $0.0485 |
| Claude Sonnet 5.5, integrierte Suche | 86.38% | $0.0920 |
| DeepSeek V4.1 Flash + You.com-Suche | 84.12% | $0.0215 |
DeepSeek V4.1 Flash kostet etwa 77% weniger pro Frage als Claude Sonnet 5.5. Es liegt 2.26 Punkte zurück.
Braintrusts eigene Studie im August verwendete ältere Modelle. Dort erreichte DeepSeek V4 Flash mit You.com-Suche 80.66% bei 0.0163 $ pro Frage. Claude Sonnet 5 mit integrierter Suche erzielte 78.78% bei 0.1148 $.
You.com verweist auch auf gemeinsame Arbeiten mit NVIDIA und CoreWeave. Das Post-Training von Nemotron 3.5 Lightning mit You.com-Suche in der Schleife hob BrowseComp von 36.97% auf 45.45%. Tool-Aufrufe gingen um 30% zurück.
Wie schneidet es im Vergleich zu OpenRouter, Together AI und Fireworks AI ab?
| Metriken | You.com Inference Router | OpenRouter | Together AI (serverless) | Fireworks AI (serverless) |
|---|---|---|---|---|
| Modell | Eigene Kapazität zuerst, Partner-Failover | Aggregator über Drittanbieter | Eigene Inference Cloud | Eigene Inference Cloud |
| Uptime-SLA | Mindestens 99.9%, mit Gutschriften, bei nutzungsbasierter Zahlung | Nicht offengelegt; automatischer Fallback | Best-Effort; 99% Request-SLA nur mit provisioniertem Durchsatz (Mindestdauer 1 Monat) | Nicht offengelegt |
| Keine Datenspeicherung | Standard, Modelle und Websuche | Kein Prompt-Logging standardmäßig; Anbieter-Richtlinien variieren | Standardmäßig deaktiviert; Admin aktiviert es | Standardmäßig aktiviert für offene Modelle |
| US-Hosting | 100%, einschließlich Failover | Je nach Anbieter | Für Serverless nicht offengelegt | Nur-US-Tarif gegen Aufpreis |
| Plattformgebühr | 0% | 5,5% bei Kreditkäufen (mind. $0.80) | Nichts aufgeführt | Nichts aufgeführt |
| Kimi K3 (ein/aus pro 1M) | $2.85 / $14.25 | $0.238 / $16 bis $4.50 / $22.50, je nach Anbieter | $3.00 / $15.00 | $3.00 / $15.00; nur-US $4.50 / $22.50 |
| DeepSeek V4.1 Flash (ein/aus pro 1M) | $0.30 / $1.20 | Nicht geprüft | $0.30 / $1.20 | $0.30 / $1.20; nur-US $0.45 / $1.80 |
| Serverseitige Websuche | Ja, derselbe Server wie das Modell | Server-Tool, Suche von Drittanbietern | Nicht offengelegt | Suchanbieter von Drittanbietern |
Der deutlichste Preisvorteil besteht gegenüber dem nur-US-Tarif von Fireworks. Dort ist You.com bei Kimi K3 Eingabe etwa 37% günstiger.
Wichtigste Erkenntnisse
- 12 Open-Weight-Modelle hinter 1 OpenAI-kompatibler Basis-URL.
- Mindestens 99,9% Uptime-SLA im Pay-as-you-go-Modell, mit Credits.
- ZDR deckt sowohl Modellaufrufe als auch die Websuche ab.
- 0% Plattformgebühr gegenüber OpenRouters 5,5%.
- Tokenpreise liegen nahe am Marktniveau; der Wert liegt in den Garantien.
Schauen Sie sich den Launch-Beitrag, an, stöbern Sie in der Modellliste und sehen Sie sich die Entwicklerdokumentationan. Der gesamte Verdienst gebührt dem Forscher dieses Projekts. Folgen Sie uns außerdem gerne auf Twitter und vergessen Sie nicht, unserem 150k+ ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Möchten Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face-Seite ODER ein Produkt-Release ODER ein Webinar usw. zu bewerben? Kontaktieren Sie uns
Der Beitrag You.com Launches Inference Router: 12 Open-Weight Models With 99.9% Uptime SLA erschien zuerst auf MarkTechPost.