Liquid AI 刚刚 发布了 Liquid RIPL，RIPL 是 Real-time Inference Pipeline（实时推理流水线）的缩写。RIPL 是一个低延迟引擎，在实时请求路径中为 Liquid 基础模型（LFM）提供服务。它能在 50 毫秒以内端到端地返回完整的生成响应。它还声称，在峰值负载下流量持续到达时，延迟依然保持不变。对开发者来说，信息很简单：用生成式模型替换梯度提升树，并保持原有的延迟预算。
要点速览
- 引擎：提供从 230M 到 2.6B 参数的 LFM2.5 模型服务
- 运行环境： 企业部署运行于 NVIDIA H100、H200、B200 和 RTX PRO 6000 GPU 上。基准测试使用单块 B200。
- 性能： 根据 Liquid 自己的测试，p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 到 28.4 倍。
- 最佳情况： LFM2.5-1.2B 的 p95 达到 155.8 毫秒，而 Qwen3.5-0.8B 为 4,431 毫秒，差距为 28.4 倍（256 输入，128 输出）。
- 最差情况： LFM2.5-2.6B 仅提升 5.6 倍（449.1 毫秒 vs 2,499 毫秒）。在较长的请求上无法达到 50 毫秒以内。
Liquid RIPL 解决什么问题？
大多数服务框架面向大批量和长时间的智能体任务，每请求几秒钟是可以接受的。而搜索排序、欺诈检测和支付授权需要毫秒级的响应。Liquid AI 认为，团队之所以在这些路径上默认使用传统模型，是因为 LLM 服务太慢。RIPL 的构建目的就是消除这种权衡。
RIPL 是如何工作的？
Liquid AI 将 RIPL 描述为对从请求到达到响应完成的完整路径进行优化。在多个工作负载中，Liquid AI 将同一模型 LFM2.5-350M 分别部署在 vLLM 和 RIPL 上进行对比绘图。在每种情况下，RIPL 的 p95 曲线都明显低于 vLLM 曲线。这说明部分收益来自引擎本身，而不仅仅是模型架构。
这些 LFM2.5 模型 本身是混合架构。LFM2.5-1.2B-Instruct 有 16 层：10 个双门控卷积块和 6 个 GQA 块。 LFM2.5-2.6B 有 30 层：22 个卷积块和 8 个 GQA 块。
RIPL 基准测试：相比 vLLM 有多快？
Liquid 在单块 B200 上，于开环泊松到达条件下测量了 p95 端到端延迟。LFM 运行在 RIPL 上。基线模型（包括 MiniCPM5 和 Granite 4.2）运行在 vLLM 上。
| 工作负载 | 负载 | RIPL 上的 LFM2.5（p95） | vLLM 上的 Qwen3.5（p95） | 差距 |
|---|---|---|---|---|
| 1B 级，32 输入 → 32 输出 | 1,000 请求/秒 | 34.6 ms (1.2B) | 498 ms (0.8B) | 14.4x |
| 1B 级，256 输入 → 128 输出 | 400 请求/秒 | 155.8 ms (1.2B) | 4,431 ms (0.8B) | 28.4x |
| 2B级，32输入 → 32输出 | 1,000 req/s | 76.4 ms (2.6B) | 586.8 ms (2B) | 7.7倍 |
| 2B级，256输入 → 128输出 | 300 req/s | 449.1 ms (2.6B) | 2,499 ms (2B) | 5.6倍 |
来源： Liquid AI博客，图2。为自报数据。
Liquid AI还将6个实时工作负载与固定预算进行了对照：
- 广告技术查询改写： 32输入，32输出，50 ms预算，LFM2.5-350M。
- 搜索意图分类： 128输入，1输出，20 ms预算。
- 搜索重排序： 1k输入，1输出，30 ms预算。
- 支付风险评分： 512输入，16输出，50 ms预算，LFM2.5-1.2B。
- 信贷决策： 8k输入，64输出，150 ms预算。
- 图片替代文本： 512×512图像和64个token输入，16输出，100 ms预算， LFM2.5-VL-450M.
竞品对比
| 特性 | RIPL上的LFM2.5-1.2B | vLLM上的Qwen3.5-0.8B | RIPL上的LFM2.5-2.6B | Qwen3.5-2B 在 vLLM 上 |
|---|---|---|---|---|
| 参数量 | 1.17B | 0.8B | 2.69B | 2B |
| 上下文 | 32,768 | 262,144 | 131,072 | 262,144 |
| 许可证（权重） | LFM Open License v1.0 | Apache 2.0 | LFM Open License v1.0 | Apache 2.0 |
| 模态 | 文本 | 文本、图像、视频 | 文本 | 文本、图像、视频 |
| 默认模式 | Instruct | 非思考 | 始终推理 | 非思考 |
| 服务引擎 | RIPL(企业版) | vLLM(开源) | RIPL(企业版) | vLLM(开源) |
| p95, 32→32 | 34.6 毫秒 | 498 毫秒 | 76.4 毫秒 | 586.8 毫秒 |
| p95, 256→128 | 155.8 毫秒 | 4,431 毫秒 | 449.1 毫秒 | 2,499 毫秒 |
RIPL 是否已投入生产使用?
是的,根据 Liquid AI 的说法。 Shopify 正在将 LFM 部署于对延迟敏感的电商工作负载。在搜索增强方面,LFM 在生产流量上以低于 20 毫秒的推理时间运行。根据 Liquid AI 的博客,它们使用的参数比替代方案少约 50%,并且推理速度提高 2 到 10 倍。
要点概括
- RIPL 是 Liquid AI 用于在实时请求路径中运行大语言模型（LLM）的引擎。
- Liquid 在 vLLM 上声称其 p95 延迟比 Qwen3.5 低 5.6 到 28.4 倍。
- 同型号测试（LFM2.5-350M）表明 RIPL 本身优于 vLLM。
- Shopify 在生产搜索中以低于 20 毫秒的延迟运行 LFM。
- 仅限企业用户、不公开，且所有数据均为自行报告。
看看这个 RIPL 公告, 请试试 延迟计算器,并查看 LFM2.5 模型卡.. 本项目的全部功劳归于该研究者。另外，欢迎关注我们的 Twitter 别忘了加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯。等等！你在用Telegram吗？ 现在您也可以在 Telegram 上加入我们了。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布、网络研讨会等吗？ 与我们保持联系
该帖子 Liquid AI 发布 RIPL，一个用于 50 毫秒以下 LFM 的实时推理引擎 首发于 MarkTechPost.