Private Endpoints: Bringen Sie Ihre feinabgestimmten Modelle und Kapazitäten zu OpenRouter

Heute starten wir Private Endpoints. OpenRouter stellt bereits die öffentlichen Modelle, die Ihr Team verwendet, hinter eine einzige API. Jetzt kann es auch die Deployments bereitstellen, die nur Ihr Team hat. Wenn Sie ein feinabgestimmtes Modell, ein dediziertes Deployment eines öffentlichen Modells oder Kapazitäten betreiben, die Sie bei einem Anbieter reserviert haben, können Sie diese über OpenRouter neben allem anderen im Katalog routen. Ihr Team behält die API, den Modell-Slug und die Routing-Präferenzen, die es heute verwendet. Private Endpoints sind nur innerhalb Ihrer Organisation sichtbar.

Private Endpoints sind ein Add-on zum Enterprise-Plan. Bitten Sie Ihren Kundenbetreuer, es für Ihre Organisation zu aktivieren, oder sprechen Sie mit dem Team.

Was Sie damit tun können

Feinabgestimmte Modelle und reservierte Kapazitäten bedeuteten bisher eine zweite Integration neben OpenRouter. Jetzt registrieren Sie das Deployment als privates Endpoint und rufen es über die API auf, die Sie bereits verwenden, mit öffentlichen Anbietern als optionales Backup, falls es ausfällt oder sein Rate-Limit erreicht. Nur die Organisationen, die Sie freigeben, können es sehen, und es erscheint nie in öffentlichen Modelllisten, Rankings, Suchen, Diagrammen oder Benchmarks.

Wenn Ihre Organisation beispielsweise ein dediziertes Azure-Deployment von DeepSeek V4 Pro hat, können Sie es als privates Endpoint für deepseek/deepseek-v4-pro registrieren, und Ihre Apps rufen diesen Slug weiterhin auf. Für Ihre Organisation steht es standardmäßig am Anfang der Anbieterliste, und Model Fallbacks, Provider Selection und der Rest des Routings funktionieren wie bei jedem anderen Anbieter. OpenRouter erreicht es mit Ihrem Azure-Schlüssel über BYOK, sodass Azure Ihnen direkt in Rechnung stellt.

Reservierte Kapazitäten werden ebenfalls so behandelt. Richten Sie ein privates Endpoint darauf, und der Traffic Ihrer Organisation geht standardmäßig zuerst dorthin. Wenn es rate-limitiert oder nicht verfügbar ist, kann OpenRouter den Überlauf an öffentliche Anbieter weiterleiten, innerhalb der von Ihnen festgelegten Anbieter-Präferenzen und BYOK-Fallback-Einstellungen.

Einrichten eines Endpoints

Sobald Private Endpoints aktiviert ist, registriert ein Organisations-Admin das Deployment über die Private Endpoints -Seite in Ihrem Konto. Das Deployment muss bei einem Anbieter gehostet werden, den wir für BYOKunterstützen, da OpenRouter es mit Ihrem eigenen Schlüssel erreicht. Es muss außerdem ein Modell bereitstellen, das bereits im OpenRouter-Katalog vorhanden ist, da es den Slug und die Fähigkeiten dieses Modells erbt. Sie können Ihre eigene Preisgestaltung anhängen, damit das Endpoint in der Kostenberichterstattung korrekt erscheint, und Sie geben an, ob das Deployment Prompts speichert.

Bevor irgendetwas an das neue Endpoint geroutet wird, sendet OpenRouter eine echte Anfrage über den in einem Ihrer Workspaces gespeicherten Anbieterschlüssel. Diese Anfrage weist nach, dass der Schlüssel akzeptiert wird, das Deployment das OpenAI-kompatible Format spricht, Streaming funktioniert, die Nutzung für die Abrechnung zurückkommt und die Modell-ID mit der registrierten übereinstimmt. Sobald es bestanden ist, aktivieren Sie das Endpoint, und Workspaces in Ihrer Organisation können es über den Modell-Slug aufrufen. Bis dahin bleibt es verborgen und kann nicht aufgerufen werden.

Endpoints aus Code verwalten

Wenn Sie mehr als eine Handvoll Endpoints betreiben oder Ihre Infrastruktur in Code halten, können Sie die Einstellungsseite überspringen. Die Private Endpoints API deckt den gesamten Lebenszyklus ab, von der Registrierung eines Entwurfs und dem Ausführen der Testprüfungen über Aktivierung, Preisaktualisierungen, Pausieren und Löschung. Sie wird mit einem Organisations- Management API keyauthentifiziert, und ein einziger create-Aufruf registriert, testet und aktiviert ein Endpoint.

curl https://openrouter.ai/api/v1/private-endpoints \
  -H "Authorization: Bearer $OPENROUTER_MANAGEMENT_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: gpt-4o-prod" \
  -d '{
    "model_permaslug": "openai/gpt-4o-2024-08-06",
    "provider_slug": "openai",
    "base_url": "https://api.openai.com/v1",
    "upstream_model_id": "gpt-4o-2024-08-06",
    "pricing": { "prompt": "0.0000025", "completion": "0.00001" },
    "activate": { "workspace_id": "<workspace-id>" }
  }'

Wenn die Testprüfungen fehlschlagen, wird der Entwurf aufbewahrt und mit den fehlgeschlagenen Prüfungen zurückgegeben, sodass Sie ihn korrigieren und es erneut versuchen können. Die Idempotency-Key Header macht Wiederholungsversuche sicher (ein wiederholter Schlüssel gibt den Endpoint zurück, den die erste Anfrage erstellt hat). Das OpenRouter Terraform provider fasst all dies in einem openrouter_private_endpoint Resource zusammen, sodass terraform apply den Endpoint registriert, testet und aktiviert und terraform destroy ihn wieder entfernt.

Gut zu wissen

• Einen Endpoint als privat zu markieren, macht ihn nicht zu einem Zero Data Retention -Endpoint. Ihr Provider verarbeitet Prompts genau wie zuvor, und OpenRouter erfasst die Datenrichtlinie, die Sie bei der Registrierung des Deployments angeben.
• Ein privater Endpunkt kann In-Region-Routing verwenden, wenn OpenRouter aus seiner Adresse eine Region ermitteln kann oder wenn Sie eine während der Einrichtung angeben. Anfragen an us.openrouter.ai oder eu.openrouter.ai werden dann an Ihre Bereitstellung innerhalb dieser Region weitergeleitet. Der In-Region-Routing-Leitfaden listet die unterstützten Anbieter auf.
• Ihr Anbieter-Schlüssel muss unter BYOK in jedem Workspace gespeichert sein, der den Endpunkt aufruft, und die Testanfrage während der Einrichtung benötigt ihn dort ebenfalls.
• Jede Organisation kann standardmäßig bis zu 10 private Endpunkte haben, und Endpunkte, die sich noch im Aufbau befinden, zählen zu diesem Limit.

Erste Schritte

Private Endpoints ist ein Add-on zum Enterprise-Plan. Bitten Sie Ihren Ansprechpartner, es für Ihre Organisation zu aktivieren, oder sprechen Sie mit dem Team.

Sobald es aktiviert ist, kann ein Organisationsadministrator Ihren ersten Endpunkt über die Seite Private Endpoints in Ihrem Konto oder mit einem Management-API-Schlüssel über die Private Endpoints API.

hinzufügen. Lesen Sie die Dokumentation für weitere Informationen.