MarkTechPost

Z.ai GLM-Legal 在 Harvey LAB 上击败 Claude Fable 5 和 Kimi K3

Z.ai发布基于GLM-5.3-Flash的法律模型GLM-Legal,在Harvey LAB得分19.17%,较基座6.67%大幅提升。但访问需申请、无公开权重,法律研究基准还低于基座3.36点,每任务耗时1h12m。

Z.ai 刚刚发布了 GLM-Legal。GLM-Legal 是 Z.ai 推出的法律 AI 模型,基于 GLM-5.3-Flash 并针对代理式法律工作进行了训练。它面向合同审查、证据分析和合规研究。关键结果是在上取得了19.2%的全通过率。 Harvey 的 Legal Agent Benchmark (LAB)上取得 19.2% 的全通过率。这接近其基座模型 6.7% 的 3 倍。对开发者来说,关键在于访问方式:该 API 目前仅限 申请使用 。

TL;DR

  • 规模: 基于 GLM-5.3-Flash 构建,这是一款总参数 320B、激活参数 18B 的 MoE 模型,具备 1M token 上下文和 128K 最大输出。Z.ai 未列出单独的 GLM-Legal 参数量。
  • 运行环境: 仅限 Z.ai 托管的 API,需申请。无公开权重。基座模型可通过 vLLM 或 SGLang 在多 GPU 服务器上自托管,并提供 FP8 权重。
  • 性能: Harvey LAB 上以 19.2% 的全通过率跻身前 10 名,成本仅为前沿模型的一小部分。距 LegalBench 榜首仅差 2.3 个百分点。
  • 最佳表现: Harvey LAB 任务通过率 19.17%,在 Vals AI 上位列 79 个模型中的第 7 名,每次测试成本 0.15 美元。
  • 最差表现: 在 Vals AI 的 Legal Research Bench 上为 41.83%,低于其自身的基座模型(45.19%)。
  • 结论:
    • 最佳:以约为 Claude Fable 5 成本 1/128 的价格获得前沿级法律代理成绩。
    • 最差:受限的测试版,没有定价、没有权重,且运行缓慢(每项任务 1 小时 12 分钟)。

什么是 GLM-Legal?

GLM-Legal 是 GLM-5.3-Flash 的法律领域专用版本,面向律师事务所、内部法务和合规团队。其基座是 Z.ai 的 首个原生多模态 GLM-5 模型。它总参数为 320B,激活参数为 18B。它结合了稀疏注意力和线性注意力,以降低长上下文服务的成本。它可以读取文本、图像、视频和文件,并输出文本。

GLM-Legal 是如何训练的?

训练分为2个阶段:

  • 中期训练 在扩展的法律语料库上进行,以强化从事实到规则再到结论的推理能力。
  • 后训练 通过强化学习在 数以万计的法律任务环境.

中进行。Z.ai 团队还描述了 智能体框架在训练后与模型共同演化 的情况。训练中的边缘案例暴露了框架的瓶颈。框架的修复随后又让模型接触到更真实的约束条件。

GLM-Legal 在 Harvey 的法律智能体基准测试中得分如何?

Harvey LAB 是一个开源基准测试,包含 24 个执业领域的 1,250 项任务。超过 75,000 条由专家编写的评分标准对工作成果进行评分。只有每一项标准都通过,任务才算通过。Harvey 将此称为全通过评分。

Vals AI 运行保留测试集时使用了 2 个 LLM 评审员并禁用互联网。智能体可获得文件工具以及 docx, pptx 和 xlsx 技能。

在该排行榜上, GLM-Legal 得分为 19.17% ,在 79 个模型中排名第 7。其基座模型 GLM-5.3-Flash 得分为 6.67%。这 12.5 个百分点的提升是核心主张,且已由一个独立评估方复现。

Z.ai 的发布图表显示 GLM-Legal 领先于 Kimi K3(12.92%)、Claude Fable 5(11.25%)和 GPT-6 Astra(5.42%)。这些数字与 Vals AI 一致。该图表省略了排名更高的 6 个模型,其中以得分 25.42% 的 Muse Spark 1.2 居首。

GLM-Legal 还通过了 92.5% 的单项标准。顶级模型在该指标上通常处于 90% 至 95% 附近。

GLM-Legal 在 LegalBench 上能否匹敌前沿模型?

大致可以。Z.ai 声称在 LegalBench 和面向中国的 PLawBench 上达到同等水平,但未公布数字。Vals AI 给出的评分显示: GLM-Legal 在 LegalBench 上得分为 86.23%. Claude Fable 5 以 88.56% 领先. Kimi K3 得分为 86.21%.

GLM-Legal 与 Kimi K3、Claude Fable 5 和 GPT-6 Astra 相比如何?

GLM-LegalGLM-5.3-Flash (基座模型)Kimi K3Claude Fable 5GPT-6 Astra
开发者Z.aiZ.ai月之暗面(Moonshot AI)AnthropicOpenAI
总参数 / 激活参数基于 320B / 18B 基座模型构建320B / 18B2.8T / 104B未披露未披露
上下文窗口1M1M1M1M1M
权重 / 许可证无公开权重开放,MIT 许可证开放,Kimi K3 许可证专有专有
Harvey LAB(任务通过率)19.17%6.67%12.92%11.25%5.42%
LegalBench86.23%83.93%86.21%88.56%未被 Vals 收录
Legal Research Bench41.83%45.19%46.15%49.52%39.42%
每次 Harvey LAB 测试成本$0.15$0.57$3.83$19.23$26.16
Harvey LAB 平均耗时1小时12分52分17秒13分58秒26分53秒24分49秒
API 价格(输入 / 输出,每 1M tokens)未公布$0.15 / $0.50$3 / $15$10 / $50$10 / $50
访问方式通过应用程序使用 APIAPI,Hugging FaceAPI,Hugging FaceAPIAPI

所有基准测试分数、成本和时长均来自 Vals AI 截至 2026 年 10 月 12 日的运行结果。Vals 以每 1M tokens 0.075 / 0.25 美元的价格运行了两个 GLM 模型。

开发者如何访问 GLM-Legal?

律师事务所、法律科技公司和内部团队可以 申请 API 访问权限。Z.ai 未公布任何价格。 截至 2026 年 10 月 13 日,Hugging Face 上不存在 GLM-Legal 仓库 截至2026年10月13日。Z.ai 表示 GLM-Legal 将登陆 AutoClaw,但未给出具体日期。

基础模型现已在 每 1M tokens 0.15 / 0.50 美元的价格下可用。团队可以先在其上构建原型流水线,之后再更换模型 ID。

关键要点

  • GLM-Legal 在 Harvey LAB 上得分为 19.17%,高于其基础模型的 6.67%。
  • 它在 Vals AI 上排名第 7(共 79 个),落后于 6 个 Meta 和 Google 模型。
  • 其成本为每次 Harvey LAB 测试 0.15 美元,而 Claude Fable 5 为 19.23 美元。
  • Legal Research Bench 相比 GLM-5.3-Flash 下降了 3.36 分。
  • 访问仅限申请制,未公布价格或权重。


请查看 Z.ai 技术博客, Vals AI Harvey LAB 排行榜 以及 GLM-5.3-Flash 模型卡片. 在此申请 API 访问权限。。所有功劳归于该项目的研究者。另外,欢迎在 Twitter 上关注我们,也不要忘记加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯等等!你在用 Telegram 吗? 现在你也可以在 Telegram 上加入我们了。

这篇文章 Z.ai GLM-Legal 在 Harvey LAB 上击败 Claude Fable 5 和 Kimi K3 首发于 MarkTechPost.

原始出处

MarkTechPost

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准