MarkTechPost

认识 Drex Max:Nace AI 面向计算机使用智能体的多模态决策模型,得分 67.59

Nace AI发布了面向计算机与浏览器代理的多模态决策模型Drex Max,读取文本与截图并输出校准概率,自报在Decision Index 0.3.2得67.59分。文中分数均为厂商自报,且模型仅提供托管API。

Nace AI 发布了 Drex Max,一个面向使用计算机和浏览器的智能体的多模态决策模型。Drex Max 多模态决策模型读取文本和图像并返回经过校准的概率。它不生成文本。Nace 团队报告 在公开的 Decision Index 0.3.2 上得分为 67.59,比 TypeSafe 的 Jev 1.14 高出 6.9 分。对于智能体开发者而言,这意味着每次点击只需一次廉价且类型化的调用。

TL;DR

  • 规模: 参数量未公开。API 上每个问题最多支持 262,144 个 token ,包括图像 token。
  • 运行环境: 仅托管 API(drex-max 位于 Nace Console 上)。未宣布开放权重或量化版本。
  • 性能: 在 Decision Index 0.3.2(公开)上得分为 67.59,是 Nace 列出的所有决策模型中的最高分。
  • 最佳: 在 BFCL 上达到 98.2 分 工具调用上得分为 98.2,在 JevBench 上得分为 92.2,而 Jev 1.14 为 86.7。
  • 最差: 在 HLE 上得分为 19.0,在 MMLU-Pro 上得分为 72.5,而 Jev 1.14 为 82.1。

什么是 Drex Max?

Drex Max 是 Nace AI 推出的一个决策模型,回答关于文本和图像的类型化问题。它是 Drex 系列中最准确的模型,也是唯一能读取图像的模型。

决策模型不生成 token。你发送 state 以及命名的问题。每个问题属于以下 3 种类型之一: noul (是/否)、 choice (选择一个标签)或 score (有序量表)。模型返回一个 每个答案的概率分布 在1次HTTP调用中。Drex只能用你给它的选项来回答。

Drex Max 如何处理图像?

Drex Max 使用相同的 POST /v1/systemone 端点与每个 Drex 模型相同。你可以通过以下方式选择它 "model": "drex-max"。这是一个固定ID,因此 drex-latest 不会路由到它。

图片放入一个 images 数组。每个问题看到的都是相同的图像,位于状态和问题之前。你在纯文本中将它们称为“Image 1”和“Image 2”。每个条目要么是已上传的工作区文件,要么是内联 base64。

来自以下内容的要点图像规则: Drex Max 指南:

  • 格式:静态 PNG、JPEG 或 WebP。
  • 每个请求最多 8 张图像,每张 16 MiB,总计 32 MiB。
  • 每张图片会被调整至最多 1,638,400 像素(1,280 × 1,280)。
  • 每张图片在每个问题中最多消耗1,602个token。
  • 每个请求最多16个问题,请求体大小为4 MiB。

Drex Max 在基准测试中的表现如何?

以下所有评分均来自 Nace的Drex页面。这些结果均为自我报告。Nace 表示,Drex 在该索引的官方训练划分上进行训练,并在留出的划分上进行评分。

  • 决策基准:Drex Max 在公开的 Decision Index 0.3.2 上得分为 67.6。Jev 1.14 得分为 60.7,Drex 2.0 得分为 61.3。在 JevBench 上,Drex Max 达到 92.2,而 Jev 1.14 为 86.7。
  • 智能体基准测试: Drex Max 在 OSWorld-Verified 上取得 0.780,在 BFCL 上取得 98.2。它在 When2Call 上得分为 85.2,在 RAGTruth 上得分为 84.8。
  • 愿景: 在 Decision Index Vision 公开测试套件上,Drex Max 得分为 74.5。GPT-6 Luna Decisions 得分为 63.9。Mind2Web 达到 88.6,InfographicVQA 达到 98.8。
  • 落后的地方: Jev 1.14在MMLU-Pro(82.1对72.5)、HLE(19.4对19.0)和ARC-Challenge(97.6对97.4)上领先。在Hateful Memes上,Drex Max落后于GPT-6 Luna Decisions,为70.6对71.2。
上一步</button> <button class="btn pri" id="mtp-next">下一步 </button> <button class="btn" id="mtp-play">自动播放</button> <div class="dots"><i></i><i></i><i></i></div> </div> <p class="note">答案概率仅是响应形态的示意,并非真实的模型输出。</p> </div> <div class="pn" data-p="bench"> <div class="seg" id="mtp-seg"> <button class="on" data-s="di">决策指数</button> <button data-s="ag">智能体</button> <button data-s="vi">视觉</button> </div> <div id="mtp-bars"></div> <p class="note" id="mtp-bnote"></p> </div> <div class="pn" data-p="vs"> <table class="vs"> <thead><tr><th>基准测试</th><th style="text-align:right">Drex Max</th><th style="text-align:right">Jev 1.14</th><th>结果</th></tr></thead> <tbody id="mtp-vs"></tbody> </table> <p class="note">所有数据均来自 Nace 的 Drex 页面(自报数据)。据 Nace 称,Jev 1.14 因尺寸原因拒绝 15.9% 的截图。</p> </div> <div class="pn" data-p="lim"> <div class="grid" id="mtp-lims"></div> <p class="note">点击卡片查看详情。来源:Nace Drex Max API 指南。</p> </div> <div class="pn" data-p="cost"> <div class="calc"> <div> <label for="mtp-dec">每天决策次数:<b id="mtp-decv" style="color:#f5f5f4">10,000</b></label> <input type="range" id="mtp-dec" min="1000" max="1000000" step="1000" value="10000"> <label for="mtp-img">每次决策的截图数:<b id="mtp-imgv" style="color:#f5f5f4">1</b></label> <input type="range" id="mtp-img" min="0" max="8" step="1" value="1"> <label for="mtp-txt">每次决策的文本 token 数(状态 + 问题):<b id="mtp-txtv" style="color:#f5f5f4">500</b></label> <input type="range" id="mtp-txt" min="50" max="20000" step="50" value="500"> </div> <div class="out"> <small>预估每日成本,上限</small> <div class="big" id="mtp-cost">0.00美元</div> <small id="mtp-tok"></small> <small style="margin-top:10px">采用每 1M 输入 token 0.06美元的价格以及每张图像 1,602 token 的最大值。输出 token 不计费。实际图像 token 数可能更低。</small> </div> </div> </div> <div class="ft"> <span class="src">来源:<a href="https://www.nace.ai/drex" target="_blank" rel="noopener">nace.ai/drex</a> · <a href="https://console.nace.ai/docs/drex/guides/drex-max" target="_blank" rel="noopener">Drex Max 指南</a></span> <a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a> </div> </div> <script> (function(){ var R=document.getElementById('mtp-drexmax'); function $(s,c){return (c||R).querySelector(s)}function $$(s,c){return Array.prototype.slice.call((c||R).querySelectorAll(s))} function post(){try{var h=R.offsetHeight+40;parent.postMessage({mtpDrexMaxHeight:h,type:'mtp-resize',height:h},'*')}catch(e){}} /* counters */ $$('[data-count]').forEach(function(el){var to=+el.dataset.count,d=+(el.dataset.dec||0),suf=el.dataset.suf||'',sep=el.dataset.sep,t0=null; function f(v){var s=v.toFixed(d);if(sep)s=Math.round(v).toLocaleString('en-US');return s+suf} function step(ts){if(!t0)t0=ts;var k=Math.min(1,(ts-t0)/1100),e=1-Math.pow(1-k,3);el.textContent=f(to*e);if(k<1)requestAnimationFrame(step);else el.textContent=f(to)} requestAnimationFrame(step)}); /* tabs */ $$('.tab').forEach(function(b){b.addEventListener('click',function(){$$('.tab').forEach(function(x){x.setAttribute('aria-selected',x===b)}); $$('.pn').forEach(function(p){p.classList.toggle('on',p.dataset.p===b.dataset.t)}); if(b.dataset.t==='bench')drawBars(cur);if(b.dataset.t==='flow')show(stp);setTimeout(post,60);setTimeout(post,500)})}); /* flow */ var caps=['步骤 1:发送一个状态以及最多 8 张静态图像。每个问题看到的都是相同的图像,位于状态和问题之前。','步骤 2:命名最多 16 个类型化问题。Drex Max 只能用您提供的选项来回答。','步骤 3:一次调用即返回每个选项的概率。Nace 列出每次截图决策的中位耗时为 174 ms。']; var stp=0,timer=null; function show(i){stp=i;$$('.node').forEach(function(n){n.classList.toggle('lit',+n.dataset.n<=i)}); $$('.dots i').forEach(function(d,k){d.classList.toggle('on',k===i)});$('#mtp-cap').textContent=caps[i]; $$('.prob u').forEach(function(u){u.style.width=i===2?u.dataset.w+'%':'0'})} $('#mtp-next').onclick=function(){stopPlay();show((stp+1)%3)};$('#mtp-prev').onclick=function(){stopPlay();show((stp+2)%3)}; function stopPlay(){if(timer){clearInterval(timer);timer=null;$('#mtp-play').textContent='自动播放'}} $('#mtp-play').onclick=function(){if(timer){stopPlay();return}this.textContent='暂停';show(0);timer=setInterval(function(){show((stp+1)%3)},2200)}; show(0); /* bars */ var D={di:{max:80,rows:[['Drex Max',67.6,1],['Drex 2.0',61.3],['Jev 1.14',60.7],['Drex 1.5',58.1],['GPT-6 Luna Decisions',47.8]],note:'Decision Index 0.3.2,仅限公开基准测试,已做机会校正。来源:nace.ai/drex(自行报告)。'}, ag:{max:100,rows:[['Drex Max · BFCL',98.2,1],['Jev 1.14 · BFCL',96.4],['Drex Max · OSWorld-Verified',78.0,1],['Jev 1.14 · OSWorld-Verified',73.4],['Drex Max · When2Call',85.2,1],['Jev 1.14 · When2Call',81.7]],note:'OSWorld-Verified 按 ×100 显示(0.780 和 0.734)。来源:nace.ai/drex(自行报告)。'}, vi:{max:100,rows:[['Drex Max · Vision Index',74. 5,1],['GPT-6 Luna Decisions',63.9],['Drex Max · Mind2Web',88.6,1],['GPT-6 Luna · Mind2Web',81.2],['Drex Max · CV-Bench',86.3,1],['GPT-6 Luna · CV-Bench',73.8]],note:'Decision Index Vision,公开套件,11个基准。来源:nace.ai/drex(自报)。'}}; var cur='di'; function drawBars(k){cur=k;var d=D[k],h='';d.rows.forEach(function(r){h+='<div class="row'+(r[2]?' me':'')+'"><span class="lab">'+r[0]+'</span><div class="tr"><div class="fl" data-w="'+(r[1]/d.max*100)+'"></div></div><span class="v">'+r[1].toFixed(1)+'</span></div>'}); $('#mtp-bars').innerHTML=h;$('#mtp-bnote').textContent=d.note; requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-bars .fl').forEach(function(f){f.style.width=f.dataset.w+'%'})})}); $$('#mtp-seg button').forEach(function(b){b.classList.toggle('on',b.dataset.s===k)});setTimeout(post,60)} $$('#mtp-seg button').forEach(function(b){b.onclick=function(){drawBars(b.dataset.s)}}); /* 对比 */ var V=[['Decision Index 0.3.2','67.6','60.7',1],['JevBench','92.2','86.7',1],['Decision Bench','94.3','92.3',1],['Game Bench win %','64.0','50.0',1],['BFCL','98.2','96.4',1],['OSWorld-Verified','0.780','0.734',1],['Screenshot decision','174 ms','253 ms',1],['MMLU-Pro','72.5','82.1',0],['HLE','19.0','19.4',0],['ARC-Challenge','97.4','97.6',0]]; $('#mtp-vs').innerHTML=V.map(function(r){return '<tr><td>'+r[0]+'</td><td class="n">'+r[1]+'</td><td class="n">'+r[2]+'</td><td>'+(r[3]?'<span class="pill w">Max 领先</span>':'<span class="pill l">Jev 领先</span>')+'</td></tr>'}).join(''); /* 限制 */ var L=[['16','每个请求的问题数','有无图片限制相同。'],['262,144','每个问题的 token 数','状态加该问题,含图片 token。Nace 的落地页列出 131K 上下文。'],['8','每个请求的图片数','仍为 PNG、JPEG 或 WebP。每个 16 MiB,总计 32 MiB。'],['1,602','最大 每张图片的 token 数','在每个问题中计费。图片最多缩放至 1,638,400 像素(1,280 × 1,280)。'],['4 MiB','请求体','内联 base64 图片计入其中,因此大约可容纳 3 MiB 的图片字节。'],['$0','失败请求','仅对 200 响应计费。输出 token 从不计费.']]; $('#mtp-lims').innerHTML=L.map(function(l){return '<div class="lim" tabindex="0"><b>'+l[0]+'</b><span>'+l[1]+'</span><p>'+l[2]+'</p></div>'}).join(''); $$('.lim').forEach(function(c){function t(){c.classList.toggle('open');setTimeout(post,380)}c.onclick=t;c.onkeydown=function(e){if(e.key==='Enter'||e.key===' '){e.preventDefault();t()}}}); /* 计算 */ function calc(){var n=+$('#mtp-dec').value,im=+$('#mtp-img').value,tx=+$('#mtp-txt').value,tok=n*(tx+im*1602),c=tok/1e6*0.06; $('#mtp-decv').textContent=n.toLocaleString('en-US');$('#mtp-imgv').textContent=im;$('#mtp-txtv').textContent=tx.toLocaleString('en-US'); $('#mtp-cost').textContent='$'+(c<10?c.toFixed(2):Math.round(c).toLocaleString('en-US'));$('#mtp-tok').textContent=tok.toLocaleString('en-US')+' 每天输入 token'} ['#mtp-dec','#mtp-img','#mtp-txt'].forEach(function(s){$(s).oninput=calc});calc(); window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300);setTimeout(post,1200); })(); </script> </body></html> " style="width:100%;height:600px;border:0;display:block;background:transparent;" loading="lazy" scrolling="no">

Drex Max 有多快、有多便宜?

Nace 列出了 每张截图决策的中位耗时 174 ms。Jev 1.14 在同样的 243 个问题上需要 253 ms。Nace 表示 Drex Max 接受任何截图尺寸,而 Jev 1.14 会因尺寸拒绝 15.9% 的截图。

在其基准测试表格中,Nace 报告的中位延迟为 183 ms。发布博文则引用了每次决策 34 ms、262K tokens 下不到 1 秒的数据。这些数字基于不同的测试设置,因此应将其视为各自独立的声明。

定价为 每 1M 输入 tokens 0.06美元。输出 tokens 不计费。 新账户可获得 25美元注册赠金,失败的请求不收费。

Drex Max 与其他决策模型相比如何?

特性Drex MaxJev 1.14Drex 2.0d3-flash
开发者Nace AITypeSafe AINace AIvLLM Semantic Router
参数量未公开未公开总共 35B,约 3B 激活(MoE)8.39B
上下文每个问题 262,144 tokens每个请求 64K,带长上下文标头可达 262K默认 16,384,最高 131,072未披露
输入文本、图像文本(TypeSafe 文档)文本文本、图像、视频
许可证专有(托管)专有(托管)Nace.AI Open RAIL-MApache-2.0
Decision Index(公开)67.6 (0.3.2)60.7(0.3.2,据 Nace)61.25 (0.3.1)57.8 (0.3.2)
Vision index(公开)74.5未披露不适用69.9
每 1M 输入 token 价格$0.06$0.042$0.06自托管, 免费试用
运行于Nace Console APITypeSafe API单个加速器,bf16 约 70 GB已测试 1 块 AMD Instinct MI325X

注意: d3-flash 的视觉成绩是其在 0.3.2 vision board 上的自行评估。Drex Max 的成绩是 Nace 自己的运行结果。跨厂商的数字并非受控对比。

关键要点

  • Drex Max 是 Nace AI 的首个多模态决策模型。
  • 它在 Decision Index 0.3.2 上得分为 67.59,比 Jev 1.14 高出 6.9。
  • 截图决策耗时 174 ms,而 Jev 1.14 为 253 ms。
  • 定价为每 1M 输入 token 0.06 美元,输出免费。
  • 规模未披露,权重闭源,且分数为自行报告。


查看 Drex Max 指南, the Drex 产品页面 以及 发布帖子。另请阅读我们之前对 Drex 1.5的报道。所有功劳归于该项目的研究者。此外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ML SubReddit 并订阅 我们的通讯。等等!你在用 Telegram 吗? 现在你也可以在 Telegram 上加入我们了。

这篇文章 认识 Drex Max:Nace AI 推出的面向计算机使用智能体的多模态决策模型,得分为 67.59 首发于 MarkTechPost.

原始出处

MarkTechPost

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准