要点
- AI初创公司Inception发布了Mercury 3,一个基于扩散的语言模型。它不是逐词写文本,而是逐步精炼整个答案的粗略草稿。Inception表示,这使其比标准模型快得多。
- 在Inception的内部基准测试中,Mercury 3在Nvidia GPU上每秒生成超过1,000个token。它在12项测试中的8项中领先GPT-6 Luna和Claude Haiku 5.5等竞争对手。
- 该模型一次可处理多达100万个token,并使用与OpenAI兼容的API。Inception主要将其用于对速度要求高的实时应用,如自主AI代理、智能眼镜和客户支持。
Inception表示,其新语言模型Mercury 3在一系列基准测试中击败了GPT-6 Luna和Claude Haiku 5.5,同时运行速度快4到8倍。
在其 公告中,该公司称Mercury 3是迄今为止发布的最强大的扩散语言模型。
这一速度来自模型的构建方式。像GPT或Claude这样的模型一次写一个词,因此每个新词都必须等前一个词完成。扩散模型最广为人知的是用于图像生成。它们先勾画出整个答案的粗略版本,然后在多次迭代中加以精炼,一次生成许多词。 Google关于DiffusionGemma的技术报告 解释了这一基本原理。
Mercury 3的领先优势比公告所暗示的要小
Inception自己的基准测试表讲述了一个更为复杂的故事。在三个模型均以中等设置运行的情况下,Mercury 3赢得了12项测试中的8项。差距最大的是指令遵循。在IFBench上,Mercury 3得分为76.84分,比GPT-6 Luna高15分。它在SWE-Bench Atlas自主编程方面也以51.08分明显领先,而其竞争对手分别为33.33分和32.26分。广告
Claude Haiku 5.5赢得了较长的编程测试DeepSWE。它在长文本中查找信息方面也更胜一筹。GPT-6 Luna在Artificial Analysis的两项测试中略占上风。Inception的简短概述则更为谨慎,将Mercury 3的质量描述为相当或更好。
据Inception称,Mercury 3在Nvidia GPU上每秒生成1,068个token。在该公司的对比中,Claude Haiku 5.5约为240,GPT-6 Luna约为130。目前尚无独立测试。
Inception表示,Mercury 3的参数量是对方的40多倍 Mercury 1 的40多倍,但运行速度同样快。自小型Mercury 1 mini以来,性能也提升了两倍(增至三倍)。Inception认为这表明扩散模型在扩展时能像标准语言模型一样可靠地改进。确切的参数数量仍未公开。
Mercury 3瞄准那些微小延迟会不断累积的应用
Inception主要将Mercury 3推向AI代理、搜索、客户支持和辅导领域。AI代理通过许多独立步骤完成任务,且每一步都要等待模型。这些微小的延迟很快就会累积起来。广告
早期体验合作伙伴在公告中分享了他们的结果,其中大多数也侧重于速度。Octen AI为智能眼镜构建搜索功能。“在智能眼镜上,需要五秒钟的答案感觉就像坏掉了一样,”创始人Kuan Zou说。他表示,搜索本身只需约80毫秒,语言模型才是瓶颈。使用Mercury 3后,响应中位数在0.9秒后到达。整个过程耗时2.2秒。
教育公司General Learning表示,现在能在大约一秒内向学生提供提示和更正。客户服务提供商Lorikeet报告称响应时间更快,结果也更好。在TinyFish AI,联合创始人Shuhao Zhang表示,Mercury 3在真实网站上接受了50项导航任务。它解决了25项,击败了GPT-6.1-Sol。Zhang没有给出OpenAI模型的具体数字。
Mercury 3的低发布定价可能不会持续
常规定价为每百万输入token 0.20美元,每百万输出token 0.70美元。Inception在发布时将价格减半。该公司尚未说明折扣何时结束。此后,Mercury 3的输出成本将高于GPT-6 Luna和Claude Haiku 5.5,至少在较短输入的情况下如此,两者对这类输入均收费0.50美元。不过对于非常长的提示,两个竞争对手的收费要高得多。Mercury 3一次可处理多达100万个token。
该模型可在Inception自己的平台以及OpenRouter、Baseten和Vercel上使用。它使用与OpenAI模型相同的API,因此Inception表示开发者只需付出很少的努力即可切换。
今年2月,Inception发布了 Mercury 2,该公司称之为首个在回答前通过中间步骤进行推理的扩散模型。在此之前,这家初创公司筹集了 5000万美元。投资方包括NVentures、M12和Snowflake Ventures,它们分别是英伟达、微软和Snowflake的风险投资部门。
谷歌也在研究相同的方法。其 Gemini Diffusion 演示之后,6月又推出了开源模型 DiffusionGemma。谷歌表示,该模型的运行速度最高比标准Gemma 4快四倍,但结果略逊一筹。
来源: Inception Labs / Mercury 3