NVIDIA Kumo Relational 在关系型数据上超越监督式机器学习，且无需训练

TL;DR

NVIDIA Kumo Relational 是一个预训练的关系型基础模型，可直接在企业数据库上进行预测。给定一个预测查询，它最多收集 10,000 个历史示例作为上下文，并在单次前向传播中预测诸如流失、需求或欺诈等结果。它无需针对特定任务的训练、无需特征工程、也无需将表展平。Kumo Relational 是首个在常见关系型基准测试上超越监督式机器学习的少样本（few-shot）基础模型。在 15 个数据库的 41 项任务上，它击败了监督式关系深度学习模型和专家构建的梯度提升树流水线；在 SAP SALT 企业基准上，它的平均倒数排名（MRR）超出 AutoGluon 集成模型 8%。它可扩展到拥有 500B+ 行的数据库，并通过 NVIDIA 的开源、GPU 原生结构化数据模型库或作为 NVIDIA NIM 供人类和智能体使用。

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview

向结构化数据基础模型的转变

基础模型已经彻底改写了语言和视觉领域的游戏规则。不久之前，生产级 NLP 意味着每个任务一个专用模型，每个模型都由自己的分词、词形还原和 n-gram 流水线提供数据。LLM 让这一技术栈在很大程度上变得过时，原因有三：它们比最好的任务专用模型更准确、部署到生产环境要简单得多，并且足够灵活，开启了智能体应用的新时代。

同样的转变如今正在结构化数据领域发生。关系型数据库支撑着全球最关键的商业决策，但在其上进行预测建模仍然需要数周的特征工程、针对特定任务的训练以及调优过的流水线。结构化数据基础模型基于同样的三个原因改变了这一点：

如今即有更高的准确率： 作为即插即用的替代方案，这些模型已经超越了许多生产流水线，尤其是 XGBoost。在 RelBench V1 分类任务上，Kumo Relational 在专家构建的特征上平均比梯度提升树高出近 4 个 AUROC 点。在 SAP SALT 上，它开箱即用即在工程化特征上比 XGBoost 高出 7 个 MRR 点，微调后则高出 13 个 MRR 点。这些结果为用 Kumo Relational 替换生产级 XGBoost 流水线提供了令人信服的理由。

简洁与敏捷： 一个预训练模型取代了针对各个任务的独立流水线。新的预测变成一个查询而不是一个项目，因此 ML 团队终于可以在组织的各个层级承担那些传统 ML 使其构建起来过于繁重的用例。

能够进行预测的智能体： LLM 让智能体能够阅读、写作和推理。结构化数据基础模型让它们能够预判接下来会发生什么，例如哪个客户会流失，并据此采取行动。Kumo Relational 从设计上就支持被智能体调用，其预测查询语言（PQL）为智能体提供了一个提出预测性问题的简单接口。

今天，我们推出 Kumo Relational (论文, 文档），一个将这一范式引入关系型数据的预训练基础模型。连接数据库，描述要预测什么，即可在单次前向传播中获得预测结果。无需训练。

Kumo Relational 如何工作

大多数面向结构化数据的基础模型在单一扁平表上运行。而现实世界的数据存储在关系型数据库中：用户关联到订单，订单关联到产品，并且都随时间演变。通过手动聚合（例如，“过去 30 天的平均订单价值”）将这些关系展平为单行会丢失细粒度的结构信号，并耗费大量人力。

Kumo Relational 是一个 关系型基础模型 ，直接在数据库上运行，尊重其表、外键和时间戳。它在与真实世界数据集相似的合成关系型数据上进行一次预训练，并通过 上下文学习适应每个新任务，在推理时读取最多 10,000 个上下文示例。每个示例将某一实体在某一时间点周围的局部子图与其真实标签（ground-truth target）配对（例如, "该用户已流失"或"该商品售出142件"）。

![NVIDIA Kumo Relational 系统概览：(a) 数据库集成，(b) 将自然语言转换为预测查询的提示界面，以及 (c) 自动上下文生成，为可跨租户横向扩展的 NVIDIA Kumo Relational 模型提供输入。]

图1. Kumo Relational 系统概览。连接数据库，指定一个预测查询，其余工作——从上下文生成到模型推理——都由 Kumo Relational 完成。

为了进行预测，Kumo Relational 需要做三件事： (1) 理解每张表内的取值， (2) 关联跨表的记录，以及 (3) 将带有已知目标的上下文示例与被预测的实体关联起来。工作原理如下：

![Kumo Relational 架构：(a) 包含任务、用户、订单和商品表的上下文输入；(b) 表内带有注入上下文目标的列注意力与行注意力；(c) 跨表的图注意力与跨样本注意力。]

图 2. Kumo Relational 架构：(a) 上下文输入，(b) 表内推理，(c) 跨表推理。

自动上下文生成： 任务以 Predictive Query Language (PQL)编写，这是一种声明式接口，你只需声明要预测什么，而不是如何预测。对于时序任务，Kumo Relational 会回放历史数据库状态：它在锚定时间戳之前采样以实体为中心的子图，并根据该时间戳之后的事件计算每个目标，同时只向模型提供时间戳之前的数据。这可以防止数据泄露。

表内推理： 一个轻量级网络独立处理每张表，交替使用列注意力（关联同一列内的取值）和行注意力（关联同一行内的特征）。模型会学习哪些列和行对当前预测重要，并在噪声传播之前将其过滤掉。

跨表推理： 一个更大的网络通过在主键/外键关系上使用图注意力，将行嵌入分布到关系结构中，并在上下文示例之间穿插跨样本注意力。这就是关系推理发生的地方，例如将用户的档案与其交易历史关联起来。由于该阶段处理的是行嵌入而不是每张表中的每个单元格，该设计避免了二次方开销，并能扩展到大型上下文和更深的子图。

Kumo Relational 的构建方式

Kumo Relational 完全在合成的关系数据上进行预训练，这些数据被模拟以反映真实世界的关系数据库，并带有多样化的预测查询。预训练分阶段进行，从单张表逐步过渡到日益复杂的关系结构。

预训练所需的多样化关系数据库很少公开，因此合成数据填补了这一空白。Kumo Relational 的生成器建立在 PluRel （Kothapalli 等人，ICML 2026）的方法之上，该方法将单表数据生成器扩展到完整的关系数据库。Kumo 团队的成员参与了 PluRel 的开发并共同撰写了原始论文。PluRel 分三个阶段生成每个数据库：一个模式、行之间的外键链接（这些链接像真实数据中那样形成聚类），以及来自带有时间趋势和跨表依赖的 Structural Causal Models 的列值。生成过程非常轻量，因此预训练数据实际上是无限的，并且 PluRel 论文表明，随着合成数据库的加入，预训练损失遵循幂律，其收益可以迁移到真实数据库。

通过这种预训练，模型学会了跨表过滤、关联和聚合信息，而不是依赖固定的聚合方式。当需要最高精度时，Kumo Relational 也可以在特定数据集和任务上进行微调。

性能

在本文中，我们在来自 RelBench V1 和 V2、SAP SALT 和 4DBInfer 的 15 个关系数据库上的 41 个基准上评估了 Kumo Relational，涵盖电子商务、医疗、企业、社交和学术领域。这些数据集均未出现在预训练中。Kumo Relational 在分类和回归上均优于最强的监督模型，包括关系深度学习模型和专家构建的表格集成模型。在 RelArena-α 排行榜上——该排行榜在 RelBench V1 上比较各种关系模型和系统——它开箱即用地位于精度-效率 Pareto 前沿上：

![RelArena-α 排行榜散点图：跨任务的相对精度以 Elo 表示（y 轴），对每 1,000 个样本的中位推理时间（x 轴，对数刻度）。Kumo Relational 位于 Pareto 前沿，约为 17 秒、Elo 1,842。得分最高的条目 rt-plurel 达到 Elo 1,878，耗时约 7,300 秒，慢了大约 430 倍。其他所有基础模型、特征工程系统和监督模型的得分都更低且运行更慢。]

图 3. RelArena-α 排行榜：跨任务的 Elo 与每 1,000 个样本的中位推理时间（对数刻度）。在相近精度下，Kumo Relational 比得分最高的条目快约 430 倍。

论文还报告称，在SAP SALT企业基准上，Kumo Relational在平均倒数排名（MRR）方面比大型AutoGluon集成模型高出8%，比近期的表格基础模型高出约25%，而微调将其对AutoGluon的领先优势扩大到16%。它在严苛条件下依然表现出色：仅使用0.2%的训练数据作为上下文也能表现良好，在最多75%的外键链接被移除时保持稳定，并且在添加大量噪声列时几乎不出现性能下降。

局限性

Kumo Relational在具有有意义的关系和时间动态的数据（例如用户随时间变化的行为）上表现最佳。在训练集非常大的任务上，任务特定的监督模型可能仍略胜于上下文内预测——我们基准中使用的上下文示例最多为10,000个。基础模型的微调正是为这种情况设计的。预测信号还必须能在有限的跳数内到达，因此应从针对几张相关表的聚焦查询开始，并按需扩展图。

演示

Kumo Relational可在数据库上原生运行上下文内学习：在内存中、通过数据库和数据仓库连接器，或通过一个自定义图引擎，该引擎借助内存映射I/O以高达5 GB/s的速度处理500B+行数据。它可在NVIDIA新发布的GPU原生结构化数据模型库中使用，该开源库同样支持我们的姊妹模型 Kumo Tabular。该库在首次使用时从Hugging Face Hub下载权重，因此您可以在支持GPU的notebook中加载模型并直接用它进行预测。下面的代码将上下文示例、预测实体及其相关表传递给模型：

# pip install structured-data-models
import sdm

model = sdm.models.KumoRelational(device="cuda")
pred = model(
    # In-context training table (fkeys/timestamps/targets):
    x_context=...,
    y_context=...,
    # Prediction examples (fkeys/timestamps):
    x_query=...,
    # Multi-table information for context/prediction entities:
    related_context_tables=...,
    related_query_tables=...,
)

请查看该库的 关系型示例 ，以获取完整的RelBench和SAP SALT流水线，包括如何采样每个实体的相关表。

若要将模型作为单独的服务运行，可将其部署为NVIDIA NIM，并让开源的 structured-data-models-client 从您的notebook指向它。您使用PQL编写预测请求，客户端会收集上下文示例和相关表，然后发送请求：

# pip install 'structured-data-models-client[relational]'
import sdm_client

client = sdm_client.SDMClient(url="http://localhost:8001")  # NIM URL
query = sdm_client.PredictiveQuery(
    # Prediction task in Predictive Query Language (PQL):
    "PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",
    # Multi-table data as pandas DataFrames (keys/links inferred):
    {"users": ..., "orders": ...},
)
pred = client.predict(
    # Context examples and related tables for the entities to predict:
    query.materialize(indices=[1, 2, 3]),
    model=sdm_client.KumoRelational(),
)

请查看客户端的 示例notebook ，了解针对本地NIM以及在Databricks上的端到端运行。

开始使用NVIDIA Kumo Relational进行构建

NVIDIA Kumo Relational现已推出。请阅读 研究论文，探索 快速入门notebook，或开始对您自己的数据进行预测。代码以Apache 2.0许可证发布，模型权重以OpenMDW许可证协议1.1版发布。NVIDIA相信可信赖的AI是共同的责任，我们已制定相关政策和实践，以支持广泛的AI应用开发。在按照我们的服务条款下载或使用时，开发人员应与其支持的模型团队合作，确保该模型满足相关行业和用例的要求，并应对不可预见的产品误用情况。请在此处 报告模型质量、风险、安全漏洞或NVIDIA AI相关问题.

• 论文： https://arxiv.org/abs/2604.12596
• 文档： https://docs.nvidia.com/sdgm/rfm/overview
• 代码： https://github.com/NVIDIA/structured-data-models
• PyPI： https://pypi.org/project/structured-data-models/
• 客户端代码： https://github.com/NVIDIA/structured-data-models-client
• 客户端 PyPI： https://pypi.org/project/structured-data-models-client/
• 权重： https://huggingface.co/nvidia/Kumo-Relational
• 快速入门笔记本： https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
• 相关研究： Predictive Query Language (PQL), PluRel, Kumo Tabular

致谢

我们感谢整个 Kumo 团队提供的宝贵支持。特别感谢 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。