OpenRouter Blog更新于

私有端点:将您的微调模型和容量接入 OpenRouter

OpenRouter推出Private Endpoints,企业客户可将微调模型和预留容量注册为私有端点,经统一API调用并支持回退到公共提供商。该功能为Enterprise计划附加项,且私有端点不等于零数据保留。

The Add private endpoint wizard on its Blueprint step, with Connect, Test, and Activate still to come. The catalog model is set to Anthropic: Claude Haiku 5.5 and the BYOK provider list is open.
配图来源 · OpenRouter Blog

今天我们推出私有端点。OpenRouter 已经将你的团队使用的公共模型汇聚在一个 API 之后。现在它也可以为你的团队专属的部署提供服务。如果你运行一个微调模型、某个公共模型的专用部署,或你向提供商预留的容量,你可以将其接入 OpenRouter 路由,与目录中的其他内容并行使用。你的团队保留他们目前使用的 API、模型 slug 和路由偏好。私有端点仅在你的组织内可见。

私有端点是企业版计划的附加功能。请联系您的客户代表为您的组织启用,或 与团队洽谈.

您可以用它做什么

微调模型和预留容量过去意味着在 OpenRouter 之外进行第二次集成。现在你只需将部署注册为私有端点,并通过你已经在使用的 API 调用它,公共提供商可作为其宕机或达到速率限制时的可选备用。只有你批准的组织才能看到它,它绝不会出现在公共模型列表、排名、搜索、图表或基准测试中。

例如,如果您的组织有一个专用的 Azure 部署的 DeepSeek V4 Pro ,您可以将其注册为私有端点, deepseek/deepseek-v4-pro 而您的应用继续调用该 slug。对于您的组织,它默认移至提供商列表的最前面, Model Fallbacks, Provider Selection 以及其余路由功能的工作方式与其他任何提供商相同。OpenRouter 通过 BYOK使用您的 Azure 密钥访问它,因此 Azure 直接向您计费。

预留容量也可以这样处理。将一个私有端点指向它,您组织的流量默认优先流向那里。当它达到速率限制或不可用时,OpenRouter 可以根据您设置提供商偏好和 BYOK 备用设置,将溢出流量发送到公共提供商。

设置端点

启用私有端点后,组织管理员可以在您账户的 Private Endpoints 页面注册部署。部署必须由我们支持 BYOK的提供商托管,因为 OpenRouter 需使用您自己的密钥访问它。它还必须提供 OpenRouter 目录中已有的模型,因为它会继承该模型的 slug 和能力。您可以附加自己的定价,使端点在成本报告中准确显示,并且您需声明该部署是否保留提示词。

The Add private endpoint wizard on its Blueprint step, with Connect, Test, and Activate still to come. The catalog model is set to Anthropic: Claude Haiku 5.5 and the BYOK provider list is open.

在有任何流量路由到新端点之前,OpenRouter 会使用保存在您某个工作区中的提供商密钥发送一个真实请求。该请求证明密钥被接受、部署支持 OpenAI 兼容格式、流式传输正常工作、用于计费的用量数据会返回,并且模型 ID 与您注册的内容匹配。通过后,您激活该端点,您组织中的工作区即可通过模型 slug 调用它。在此之前它保持隐藏且无法被调用。

从代码管理端点

如果您运行的端点较多,或者您将基础设施保存在代码中,可以跳过设置页面。 Private Endpoints API 覆盖完整的生命周期,从注册草稿和运行测试检查,到激活、定价更新、暂停和删除。它通过组织的 Management API key进行身份验证,一次创建调用即可注册、测试并激活一个端点。

curl https://openrouter.ai/api/v1/private-endpoints \
  -H "Authorization: Bearer $OPENROUTER_MANAGEMENT_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: gpt-4o-prod" \
  -d '{
    "model_permaslug": "openai/gpt-4o-2024-08-06",
    "provider_slug": "openai",
    "base_url": "https://api.openai.com/v1",
    "upstream_model_id": "gpt-4o-2024-08-06",
    "pricing": { "prompt": "0.0000025", "completion": "0.00001" },
    "activate": { "workspace_id": "<workspace-id>" }
  }'

如果测试检查失败,草稿会被保留并返回失败的检查项,以便您修复后重试。 Idempotency-Key 标头使重试变得安全(重复的键会返回第一个请求创建的端点)。 OpenRouter Terraform provider 将所有这些封装在一个 openrouter_private_endpoint 资源中,因此 terraform apply 会注册、测试并激活该端点,而 terraform destroy 则会将其移除。

须知

  • 将端点标记为私有并不会使其成为 零数据保留 端点。你的提供商处理提示词的方式与之前完全相同,OpenRouter 会记录你在注册部署时声明的数据政策。
  • 专用终结点可以使用 区域内路由 如果 OpenRouter 能够从其地址推断出区域,或者您在设置期间声明一个区域。对 us.openrouter.ai 或 eu.openrouter.ai 然后将流量路由到该区域内你的部署。The 区域内路由指南 列出支持的提供商。
  • 您的提供商密钥必须保存在每个调用该端点的工作区的 BYOK 下,设置期间的测试请求也需要将其保存在那里。
  • 每个组织默认最多可拥有10个私有端点,仍在设置中的端点也计入该限制。

The Blueprint step's data region and Zero Data Retention choices, with United States (us.openrouter.ai) and zero data retention selected, above the optional prompt price field.

开始使用

Private Endpoints 是 Enterprise 计划的一项附加功能。请联系您的客户代表为您的组织启用该功能,或者 与团队沟通.

启用后,组织管理员可以在中添加您的第一个端点。 专用终结点 您的账户中的页面,或通过以下方式使用 Management API 密钥 专用终结点 API.

阅读文档了解更多信息.

原始出处

OpenRouter Blog

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准