涵盖22种语言的原生文字数据、12种语言的罗马化数据，以及一个可复用的GPU加速流水线，用于翻译、质量评估和修复。
作者： AI4Bharat 团队 — Sumanth Doddapaneni、Thanmay Jayakumar、Mohammed Safi Ur Rahman Khan、Mitesh Khapra、Anoop Kunchukuttan、Rudra Murthy、Ujjwal Sharma。NVIDIA 团队 — Niket Agarwal、Ramani Akkati、Mohammad Qazim Bhat、Aishwarya Chhabra、Shuoyang Ding、Raviraj Joshi、Anusha Kamath、Abhinav Khattar、Markus Kliegl、Vitaly Lavrukhin、Yev Meyer、Sriharsha Niverty、Brandon Norick、Sai Nishanth Padala、Mostofa Patwary、Kiran Praveen、Kanishk Singla、Rajpreet Thethy、Utkarsh Vaidya、Ameya Velingker。
我们很高兴地推出 Nemotron-pretraining-Indic-v1 约 2.8万亿token，覆盖22种印度语言，并将很快与用于创建它的 开放、GPU加速的数据生成流水线 一同发布。这22种语言是印度宪法中列出的语言：97%印度人的第一语言，按2011年人口普查计算接近12亿公民。该版本由NVIDIA与印度顶尖工程学院 IIT Madras及其 AI4Bharat 实验室共同开发，为模型构建者提供了用于印度语系预训练的可观新资源。该流水线记录了完整的生成配方，包括提示词、LLM工作流和质量检查，因此开发者可以将其适配到自己的源材料，并按需生成更多数据。
AI4Bharat是IIT Madras的印度语言研究实验室，为印度语言构建开源数据集和模型。其资源，如 Sangraha——一个面向22种印度语言的开放预训练语料库——已帮助奠定了开放印度语系语言模型研究的基础。我们此次联合开源发布是社区可用的开放合成印度语系训练数据的一次大幅扩展。它将涵盖数学、代码和问答内容的丰富精选英语材料引入印度语言，为团队提供更多训练材料，以构建能够用这些语言解释技术概念、推演问题并回答问题的模型。每条记录都可追溯到一份精选的源文档，且每个输出都会与其输入进行核对，因此合成文本始终立足于真实信息。
领导AI4Bharat并入选 2025 TIME100 AI榜单的Mitesh Khapra指出了核心问题：印度语言技术落后于英语，因为"我们没有足够的印度语言数据。"我们正以更多数据，外加一个开放的数据生成配方来回应这一呼声。
该语料库还考虑了人们的书写方式。它包含全部22种语言的原生文字数据和12种语言的罗马化文本，涵盖34种语言-文字组合。我们的工作流结合了文档级翻译、质量评估和针对性修复，并通过检查来保留公式、表格和代码等内容。这些数据补充了自然撰写的印度语文本，后者对于本地知识和文化背景仍然不可或缺。
我们正在分享 开放的生成配方 ，以便社区不仅能够复现这些数据，还能将这项工作推向更远。团队可以直接使用该语料库，调整提示词和质量检查，或将他们自己的源文档引入该工作流。通过同时开放数据和流程，我们旨在让大规模印度语系数据生成更加易得，并使更多开发者能够为跨印度语言的更强模型做出贡献。
针对 Nemotron 3.5 Super VL 的继续预训练新增了100亿印度语系token，取自该语料库的十二种子集和自然印度语文本。我们的模型技术报告涵盖了完整过程。我们计划在未来的Nemotron模型中继续基于该语料库进行构建。
语料库中有什么？
图 1. 该语料库包含 2,601.0 billion 个本民族文字标记和 224.6 billion 个罗马化标记。计数使用 Gemma-4 分词器。文档记录包括共享来源的翻译和文字变体；它们并非唯一英文文档的数量。
该语料库包含两组语言配置：
- 本地文字和罗马化数据： 孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语和乌尔都语。
- 本地文字数据： 阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语。
此处， 本地文字 指的是书写系统：文本仍然是从英语翻译而来的。 罗马化 是指用拉丁字母书写的印度语言文本，而非英语翻译。对于这十二种双文字语言中的每一种，罗马化版本涵盖其所接受的本地文字翻译的一个子集。
在构建训练数据混合时,这一区分十分重要。原生文字和罗马化记录提供了不同的文字形式暴露,但可以表达相同的底层内容。token计数描述的是保留后的语料库,包括被接受的改写,而非某次训练运行的token预算。计数还取决于所使用的分词器,因此语料库清单和训练token计数应当分开解读。
从英文源文档到印度语系训练数据
为了构建这一语料库,我们从 15 个 Nemotron-CC-v2 子集的文档开始,涵盖网页文本、问答材料、数学、代码以及其他专门内容。我们使用 NeMo Data Designer(NVIDIA 的开源合成数据生成框架)来执行翻译、质量检查和针对性修复。在整个工作流程中,我们保留每个源标识符,以便开发者能够将输出追溯到其原始文档。这样清晰的来源追溯是开放数据便于审计和构建的基础之一。图 2 展示了十二种语言的工作流程。
图 2. 面向十二种语言的四阶段印度语系合成数据流水线,使用 NeMo Data Designer 和 Gemma-4-31B-it 实现。我们翻译英文文档,评估翻译质量,修复低分输出,并将一部分被接受的译文转换为拉丁字母。其他十种语言使用下文描述的独立 Indic Translate 工作流程。
十二语言工作流程
对于这十二种语言,我们完整翻译文档,使模型能够利用跨段落、表格和公式的上下文。我们通过在完整文档上比较模型并检查翻译质量和技术内容的保留情况,选定了 Gemma-4-31B-it 。我们的提示词区分需要翻译的散文和需要保留的内容,包括代码、公式、URL 和格式。
翻译之后,我们使用同一模型对照英文源文档评估每个输出。评估标准受 Multidimensional Quality Metrics (MQM)启发,这是一个按类型和严重程度对翻译错误进行分类的开放框架,涵盖意义、流畅性、术语、风格和格式。我们只保留在 100 分中获得至少 75 分的输出(这是评分标准得分,不是准确率百分比)。对于得分较低的输出,我们利用评估反馈指导修复,然后按同一阈值重新评估。这一过程在原生文字和罗马化数据中恢复了 438.4 billion tokens ,已包含在语料库总量中。抽样人工审查以及故意引入错误的测试帮助识别了遗漏和残留英文,为改进我们的提示词和检查提供了依据。
被接受的原生文字译文也为罗马化数据提供了起点。我们将其中一部分转换为拉丁字母,并将每个结果与其原生文字输入进行核对。这将翻译与文字转换分离开来。在我们最初的人工比较中,这种两步方法比直接从英文生成罗马化文本产生了更少的幻觉性添加和更少的残留英文。
十语言工作流程
对于其他十种语言,我们调整了工作流程,以解决在比较中观察到的长文档质量和文字稳定性问题。我们使用 Indic Translate，这是一个支持英语和22种印度语言的文档级翻译模型，来自 Bodhan AI(一个在 IIT Madras 孵化的教育领域 AI 非营利中心)提供的、支持英文和 22 种印度语言的文档级翻译模型。然后由 Gemma-4-31B-it 对照英文源文档评估每个译文。对于八种语言,我们保留整篇文档的方法。对于较长的桑塔利语文档,我们翻译重叠窗口并重建文档;对于曼尼普尔语,我们先翻译成孟加拉文字,再转换为梅泰文字(Meitei Mayek,即其原生文字)。这些工作流程只保留在 100 分中获得至少 75 分的输出,并且只生成原生文字数据,不进行基于反馈的改写。
印度语系持续预训练之后发生了什么变化?
Nemotron 3.5 Super VL 技术报告比较了印度语系持续预训练(CPT)之前的检查点与该阶段之后的检查点。配置的预算为 100 billion 训练token,其中 10%(10 billion tokens)分配给合成与自然的印度语系文本混合。其余 90% 保持了之前训练混合的相对比例。
在报告的全部五个印度语系知识与推理基准上得分均有所提升:MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K。
图3：Nemotron 3.5 Super VL 在 Indic CPT 阶段前后的对比。提升幅度为 4.98 至 9.82 个百分点。该对比报告的是一个结合了合成与自然 Indic 数据的训练阶段所带来的变化，而非单独衡量合成语料的贡献。各基准测试的语言覆盖范围不同；这些是阶段级的检查点，而非最终发布模型之间的比较。
来源：Nemotron 3.5 Super VL 技术报告，表 2。GSM8K 不包含 Odia，因为评估超出了服务上下文限制。
这些提升支持了合成与自然数据相结合的 Indic CPT 配方，同时将其他模型和语言的混合比例选择留待进一步研究。
配套的 Indic 报告使用十二语言组首轮接受的数据，考察了源数据混合、合成数据池规模和文字覆盖。对完整语料（包括恢复的重写数据和其他十种语言）的评估，仍是这些受控研究的下一步工作。
Nemotron 3.5 Super VL 中更广泛的 Indic 能力
除了 CPT 阶段的结果之外，发布模型与上一代相比表现如何？图4 将 Nemotron 3.5 Super VL 与 Nemotron 3 Super 在 Indic 任务表现和语言质量上进行了对比。这些结果反映了发布模型的完整训练流程，包括 Indic CPT 和后训练。
Nemotron 3.5 Super VL 在所列的六项任务基准中有五项得分更高，涵盖知识、推理、数学、代码和翻译。IFEval 1.5 上的指令遵循下降了 2.04 分。它在全部四个 IndiVibe 维度上也有所提升：有用性、流畅性、语言与文字忠实度，以及适当的冗长度。IndiVibe 是 Sarvam AI 针对印度语言助手式提示的开放基准。这些评估共同考察了模型能做什么以及它在印度语言中的沟通质量。
图4：Nemotron Super 各代之间的 Indic 任务表现和语言质量。左：六项任务基准。右：初步的 IndiVibe 条件偏好得分，并非直接的对抗胜率。标签显示百分点变化，但 WMT24++ 使用 chrF 分数。基准与评估细节见配套的 Indic 技术报告。
开始构建
加载语料
从你的模型所需的语言和文字入手，查看样本，并在训练前阅读数据集卡片和许可证。配置使用语言、文字和地区标签：例如， hi-Deva-IN 表示天城文书写的印地语，而 hi-Latn-IN 表示罗马化拼写的印地语。
下面的示例先要求数据集卡片中的仓库 ID，然后发现可用的数据分片并流式读取一个样本。
from datasets import get_dataset_split_names, load_dataset
dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"
splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)
data = load_dataset(
dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))
Hugging Face Datasets 支持流式读取，读者无需下载整个语料即可检查记录。一旦发布可用，请固定数据集版本以确保实验可复现。
对于首次训练研究，请在固定 token 预算下比较不同混合比例，并记录自然/合成和母语文字/罗马化的占比。跟踪各语言的结果，同时关注英语能力的保持以及语言/文字质量。在创建留出数据分片时，要考虑源自同一来源但跨语言和文字的记录。
要构建更完整的配方，可将该语料与 Nemotron 后训练数据配对使用，例如 Chat & Instruction 或 Post-Training Blends 集合。对于印度特定的合成数据，可使用 Nemotron-Personas-India为 NeMo Data Designer 提供种子，这是基于印度现实世界分布、以英语和印地语呈现的合成人物画像。
调整生成配方
开源 Nemotron Bharat 翻译插件 for NeMo Data Designer 提供翻译和评估提示词、可选的基于反馈的重写、文档窗口化以及文字系统重映射支持。使用其 配置参考 来选择模型和语言、将提示词适配到你的领域，并设置重写参数。随附的 开发者说明 解释了工作流程和工程选择。
先从你自己的一小部分源文档样本开始。检查翻译质量以及代码、数学公式和格式的保留情况，然后在扩大规模之前与母语审校者一起完善提示词和检查标准。将生成和语料库验收视为独立的步骤：插件返回候选内容和评分，而你的过滤策略决定哪些记录进入训练语料库。
范围与局限性
翻译拓宽了源材料的获取渠道，但并不能取代原本以印度语言撰写的文本，也无法保证覆盖本地知识和文化。我们建议将该语料库与来源恰当的自然印度语言文本相结合，并针对预期用例评估所得的混合语料。
质量评估以自动化为主，辅以抽样人工审阅，其覆盖范围因语言而异。在十二语言工作流（Figure 2）中，翻译器同时充当评判者。保留的文本仍可能包含错误，十语言工作流则需要更广泛的母语使用者验证。Source-ID 检查可去除处理过程中的重复项；它们并非针对相似内容的语义去重。
与该语料库同步，IIT Madras 的 AI4Bharat 在 NVIDIA 的支持下正在构建 Indic-LLM-Eval-Suite，这是一个开放且不断演进的天城文模型能力基准集合（Figure 4）。它帮助模型构建者评估任务表现和语言质量。参见配套博客， 更好的模型需要更好的基准：推出 Indic-LLM-Eval-Suite.
探索语言配置、测试训练混合方案，或将开放配方适配到新领域。分享各语言的结果以及对生成工作流的改进，可以帮助社区在这一工作基础上继续发展。
延伸阅读与致谢
配套报告 Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs 以及 Nemotron 3.5 Super VL 和 Lightning 技术报告提供了语料库核算、生成方法、实验和评估细节（Figure 4）。评估是这项工作的另一半。关于基准方面，请参阅 AI4Bharat 和 NVIDIA 的配套博客， 更好的模型需要更好的基准：推出 Indic-LLM-Eval-Suite.
这项工作汇集了 NVIDIA、IIT Madras、AI4Bharat 和 Bodhan AI。我们还要感谢流水线中使用的模型和工具贡献：Google 的 Gemma、Bodhan AI 的 Indic Translate 以及 NeMo Data Designer。更多 NVIDIA 数据资源可在 Nemotron 预训练数据集集合.