Apertus 1.5 发行说明

我们的最新版本 Apertus 1.5 在 8B 和 70B Apertus 1.0 模型的基础上扩展了图像/音频理解、可选的思考模式、四倍更长的上下文窗口、改进的指令遵循能力以及更好的工具使用能力。更新后的 8B和70B模型权重 于2026年7月24日以Apache 2.0许可证发布到Hugging Face。更多详情现可在该项目 技术报告中获取，并在此处概述。

Apertus 1.5 是对第一代模型的持续预训练：为8B模型增加了4万亿文本和多模态训练数据，为70B模型增加了2万亿数据，总数据量分别达到19T和17T。 与每一次Apertus发布一样，这些模型是完全开放的：开放 权重、开放 数据、开放 价值观以及完整的训练 细节.

主要增强

• 原生多模态理解： Apertus 1.5 可在文本之外接受图像和音频，将文档、图表和照片引入对话。模型还可以处理口语，不过这仍处于实验阶段。
• 思考模式： 模型可以切换到思考模式，在回答之前对输入进行推理，从而提高在推理问题上的表现。
• 长上下文： 上下文窗口增长到262,144个token，比Apertus 1.0提升了4倍。
• 改进的指令遵循： 比Apertus 1.0更好的指令遵从能力带来更可预测、更准确的回复。
• 改进的工具使用： 模型经过训练以实现更好的工具集成，从而更有效地使用外部工具和API。
• 开放的价值观： 更严格地遵循Apertus章程，为模型的价值观和原则带来透明度。

训练过程

完整的Apertus 1.5训练流程

通过分词器实现的多模态

我们在v1.5模型中以早期融合（early-fusion）的方式引入多模态，图像和音频以离散token的形式与文本token进入同一序列，而不是使用单独的视觉编码器。图像使用 Emu3.5 分词器（一张 512×512 的图像变成 1,024 个 token）以及使用 WavTokenizer 的音频（每秒 40 个 token）。我们只扩展词表，因此架构保持不变，训练以纯文本速度运行。这些模型能够理解图像和音频，但只生成文本。

预训练

从 Apertus 1.0 出发，我们分四个阶段继续预训练：

1. 非配对（Unpaired）： 文本加上独立的图像和音频，让模型学习新的模态。
2. 配对（Paired）： 图像–说明文字和音频–转录文本配对，使其与语言对齐。
3. 冷却（Cooldown）： 更高质量的数据，包含更多数学和代码。
4. 长上下文（Long context）： 上下文窗口从 8k 逐步增长到 262k 个 token。

总体而言，超过一半的训练 token 是纯文本，这保留了 Apertus 1.0 的语言能力。文本数据使用诸如 FineWeb2-HQ+、FinePDFs 和 Nemotron-CC 等来源进行了更新。所有新数据（包括多模态数据）都达到了与之前相同的标准：公开可用、采用宽松许可证，并且追溯尊重 robots.txt 的退出请求。每个来源都列在 apertus-data-transparency.

后训练

后训练分五个阶段进行： SFT → 长上下文 SFT → RL → DPO → 章程对齐（SDPO）.

1. SFT 使用 3.7M 个文本样本以及图像和语音数据。推理链只添加到模型在没有它们的情况下尚无法解决的提示中。工具使用数据仅限于经过执行验证的轨迹。我们在 Hugging Face 上发布了所使用的 文本 SFT 混合数据 。
2. 长上下文 SFT 在完整的 262k 窗口下进行，恢复了短上下文 SFT 所削弱的长上下文能力。
3. 带可验证奖励的强化学习（RLVR） 在大约 350k 个数学、代码、指令遵循、多语言和视觉提示上进行，混合开启和关闭思考模式。
4. DPO 与由评委打分的偏好配对相结合，可提升聊天质量、工具使用和安全性。我们发布了 偏好池 以及 训练对.
5. SDPO 将模型与 Apertus 宪章 通过评委反馈和自我蒸馏。

评估结果

除了扩展的模型能力之外，我们还显著扩大了评估的范围。在用于 Apertus 1.0 的现有基于文本的评估之外，我们新增了多模态评估（图像和音频）以及思考模式评估。

多模态评估是通过 MLLM-eval-suite 流水线，合并了两个主要的多模态评估框架 lmms-eval 和 VLMEvalKit。我们还添加了一系列基于文本的基准测试，并扩展了针对翻译与多语言能力、安全性以及工具使用的基准测试。这些内容可在我们的后训练部分找到。 评估仓库，基于 lm-evaluation-harness fork.

尽管仍落后于前沿开放权重模型，新版本在编程和指令遵循能力方面的性能也有了显著提升，其中 Apertus 1.5 8B 在 IF 和多语言任务上超越了同等规模的开放权重模型。思考模式进一步提升了模型在 AIME 等以推理为主的具有挑战性的基准上的表现。该模型的多模态性能接近于 Gemma 4 12B 以及其他当前的开放权重模型。Apertus 1.5 的多模态性能在空间理解方面于开放权重模型中、在文档/图表理解方面于开源模型中均具有竞争力。

我们还要感谢合作者和外部评估者帮助我们高效地对 Apertus 的能力进行了基准测试。特别值得一提的是，Apertus 1.5 在瑞士法律任务上表现出色，与领先的开放权重模型不相上下（博客, 代码）。此外，在 Last Translation Benchmark 上，Apertus 1.5 8B 展现出的机器翻译能力与 GPT-OSS-20B 相当，并超越了 Claude Haiku 4.5 等模型或 Google 翻译 (排行榜, 论文).

评估卡：Apertus ❤️ EvalEval

Apertus 与 EvalEval 联盟 以确保完全透明且可复现的基准测试。我们将Apertus 1.5的结果发布在 Every Eval Ever (EEE) 模式发布 Apertus 1.5 的结果，该共享格式不仅记录分数，还记录由谁运行了评估、如何访问模型、生成设置以及如何解释每个指标：这些细节在排行榜中通常缺失，却往往能解释为何看似相似的分数会有差异。

结果显示在下方 Eval Card 中，它将运行数据与基准和模型元数据合并为一条可解读的记录，也可通过 Hugging Face Community Evals获取。这也是 英国 AI 安全研究所公开发布其评估所使用的同一套基础设施。由于我们的文本评估运行在 lm-evaluation-harness 的公开 fork 上，而 EEE 为其提供了专用转换器，任何人都可以重新运行这些评估，并在完全相同的设置下将他们的数字与我们的进行比较。

结构化的评估报告在研究之外也很重要。EvalEval已经 将评估卡片（Evaluation Cards）与AI治理要求进行了映射，包括《欧盟人工智能法案》第55条和GPAI行为准则，并发现EEE模式可以表示这些框架所要求的60个评估报告要素中的56个。这与我们发布Apertus的方式一致：在发布模型的同时，我们发布训练内容的 公开摘要 ，并自愿发布一份 行为准则 文档。机器可读的评估记录是自然的下一步：让监管机构、部署者和研究人员更容易查找、解读和比较模型背后的证据。

我们致力于通过Eval Cards和EEE模式推动可复现和透明的评估，并鼓励其他模型开发者以相同的方式报告他们的结果，从而使分数能够在不同模型和组织之间进行比较。

Apertus 1.5 可复现性

所有配方、消融实验和数据混合都记录在 技术报告中。我们旨在通过公开v1.5的训练过程并使其易于获取，来推广开放式模型开发。中间检查点托管在我们的 Apertus 1.5 Hugging Face 集合中，包括基础权重、SFT、RLVR和DPO，以及我们整理的训练数据混合/自定义数据集，位于 Apertus 1.5 数据集集合中。共享它们使研究人员能够研究每个阶段如何改变模型行为。

报告涵盖了大量关于不同阶段后训练数据影响的消融实验，我们观察到，在SFT期间将多模态数据与文本数据混合在一起有助于提升所有模态的表现。我们还发现，多模态推理轨迹的收益在随后的纯文本强化学习后仍然保留：从使用多模态轨迹训练的SFT检查点开始，RL比从纯文本检查点开始更能提升数学能力，且在推理任务上的优势在整个训练过程中持续存在。

模型可用性

Proton Lumo 和 Infomaniak Euria 是两款近期集成了Apertus 1.5的广泛使用的应用。这些部署链接在 社区展示 等等——参见此内容 讨论帖 以供预览。

包括多家供应商在内的一系列提供商已宣布以API形式向开发者提供Apertus 1.5的访问，其中包括 Swisscom, Infomaniak, Phoeniqs，以及在我们 正式发布指南。该报告还详细介绍了我们如何与外部评估人员合作来测试和准备模型。

运行这些模型的技术说明见 Hugging Face 上 Apertus 版本的模型卡片以及我们的 快速入门指南.

如何参与

感谢您阅读这篇博文并成为我们社区的一员！我们刚刚在 Hugging Face 的分析数据中庆祝了五百万次下载 🤗，并且丝毫没有放缓的迹象。在最近的 AI+X 峰会 在苏黎世，我们的团队宣布了路线图，内容涵盖 Apertus 2.0:稀疏/MoE 架构,总参数量约 600B,延长训练计划,以智能体、数学和编码为优先方向。

总而言之：我们诚邀您阅读我们的报告，下载模型，探索中间检查点，对权重进行微调，并复现我们的评估结果。如果问题尚未在 我们的出版物 或 网站常见问题 中涵盖，我们随时欢迎提问，我们也非常乐意听到您认为哪些主题对社区未来的深入探讨最有用。

如果您构建或使用 Apertus，请填写 展示表单，并通过我们 联系页面上的选项与我们联系。我们期待展示更多工作成果，了解您正在构建的内容，并听取关于如何改进 Apertus 的建议！

引用

Project Apertus 等。"Apertus 1.5:从开放文本模型到开放多模态推理器。" arXiv:2610.15542。预印本,arXiv,2026年10月11日。 https://doi.org/10.48550/arXiv.2610.15542.

@misc{apertus2026apertus15opentext,
      title={Apertus 1.5: From Open Text Models to Open Multimodal Reasoners}, 
      author={Project Apertus and Yixuan Xu and Yassine Turki and Vinko Sabolčec and Valentina Pyatkin and Tommy Chu and Sven Najem-Meyer and Sean F. Carroll and Robert Smith and Raphael Kreft and Oscar Alessandro Tazza and Oleg Lavrovsky and Nicola Irmiger and Matteo Santelmo and Marian Schneider and Juan García Giraldo and Hanna Yukhymenko and Eduard Ďurech and Davit Melikidze and Dani Tamayo and Bettina Messmer and Aryan Ahadinia and Anunay Yadav and Allen Huang and Ahmad Fraij and Alessandro Bombarda and Alex Padula and Alexander Hägele and Alexander Sternfeld and Anna Hedström and Anna Kosovskaia and Arthur Wuhrmann and Arundhati Balasubramaniam and Badr Al Mahouri and Barna Pasztor and Bartosz Szostakiewicz and Bich Ngoc Doan and Bryan Schmid and Burak Sezen and Camille Challier and Clément Charmillot and Dana Shayakhmetova and Daniel Perruchoud and David Brüggemann and David Isztl and Elia Palme and Emma Anastassova and Fabian Bösch and Faruk Zahiragić and Fawzi Roberto Mohamed and Fiona Panicali and Florian Kolly and Flynn Guerra and Francesco Monti and Frederike Lübeck and Gennaro Oliva and Haofeng Yang and Haoliang Shang and Helen El Khoury and Henrique Mendonça and Jannis Vamvas and Jérome Landolt and Jessica Lam and Jingchun Xiao and Jonathan Coles and Joshua Oyebanji and Khanh Nguyen and Konstantinos Pitas and Lasse B. Strand and Li Mi and Loïc Deslarzes and Lorenzo Baggi and Lorenzo Noci and Luca Baumann and Luca Sartori and Lukas Drescher and Marco De Negri and Marco Passerini and Mark Klein and Marko Stojanovic and Martin Majsec and Matin Ansaripour and Mattea Busato and Mauro Pellonara and Max Neuwinger and Michael Graber and Michal Tešnar and Michelle Wastl and Miguel Gila and Mikolaj Boronski and Morgane Magnin and Moritz Reihs and Mukhammadali Sayfiddinov and Nathan Ranchin and Nicolas Cuveillier and Oscar Wohlfahrt and Qianqian Zou and Rada Kamysheva and Rita Sevastjanova and Roman Machacek and Sebastian Keller and Simon Matrenok and Simon Pierre and Stefano Schuppli and Suei-Wen Chen and Szabina Horváth-Mikulas and Taliesin Perez and Thilo Spinner and Thomas Kleine Buening and Tim Robinson and Tymoteusz Kwiecinski and Vilém Zouhar and Vinzenz Thoma and Xiaozhe Yao and Yannick Metz and Yuhei Fukuhara and Yusif Askari and Zixuan Chen and Alexander Ilic and Ana Klimovic and Andreas Krause and Andrei Kucharavy and Elliott Ash and Joost VandeVondele and Martin Rajman and Mennatallah El-Assady and Thomas Schulthess and Timo Kehrer and Torsten Hoefler and Antoine Bosselut and Martin Jaggi and Imanol Schlag},
      year={2026},
      eprint={2610.15542},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2610.15542}, 
}