오늘 우리는 Private Endpoints를 출시합니다. OpenRouter는 이미 팀에서 사용하는 공개 모델들을 하나의 API 뒤에 제공합니다. 이제 팀만 사용하는 배포 환경도 서비스할 수 있습니다. 파인튜닝된 모델, 공개 모델의 전용 배포, 또는 프로바이더와 예약한 용량을 운영하고 있다면, 카탈로그의 다른 모든 항목과 함께 OpenRouter를 통해 라우팅할 수 있습니다. 팀은 현재 사용 중인 API, 모델 슬러그, 라우팅 환경설정을 그대로 유지합니다. Private 엔드포인트는 조직 내에서만 볼 수 있습니다.
Private Endpoints는 Enterprise 플랜에 추가되는 애드온입니다. 계정 담당자에게 조직을 위해 활성화해 달라고 요청하거나 팀과 대화하기.
이 기능으로 할 수 있는 것
파인튜닝된 모델과 예약 용량은 기존에는 OpenRouter 외에 별도의 통합을 의미했습니다. 이제는 해당 배포를 프라이빗 엔드포인트로 등록하고 이미 사용 중인 API를 통해 호출할 수 있으며, 장애가 발생하거나 레이트 리밋에 도달할 경우 공개 제공업체를 선택적 백업으로 사용할 수 있습니다. 승인한 조직만 볼 수 있으며, 공개 모델 목록, 랭킹, 검색, 차트 또는 벤치마크에는 절대 표시되지 않습니다.
조직에 전용 Azure 배포가 있는 경우 DeepSeek V4 Pro 예를 들어, 이를 다음을 위한 프라이빗 엔드포인트로 등록할 수 있습니다 deepseek/deepseek-v4-pro 그리고 여러분의 앱은 계속 그 슬러그를 호출합니다. 여러분의 조직의 경우 기본적으로 공급자 목록의 맨 앞으로 이동하며, 모델 폴백(Model Fallbacks), 공급자 선택 그리고 나머지 라우팅 작업은 다른 어떤 제공자와 마찬가지로 처리됩니다. OpenRouter는 귀하의 Azure 키를 통해 이에 접근합니다. BYOK, 따라서 Azure가 직접 청구합니다.
예약 용량(Reserved capacity)에도 동일한 방식이 적용됩니다. 프라이빗 엔드포인트를 이를 가리키도록 설정하면 조직의 트래픽이 기본적으로 먼저 그곳으로 향합니다. 속도 제한이 걸리거나 사용할 수 없게 되면, 설정한 공급자 기본 설정 및 BYOK 폴백 설정 범위 내에서 OpenRouter가 넘치는 트래픽을 공용 공급자로 보낼 수 있습니다.
엔드포인트 설정
Private Endpoints가 활성화되면 조직 관리자가 다음에서 배포를 등록합니다. 프라이빗 엔드포인트 귀하의 계정 내 페이지입니다. 배포는 당사가 지원하는 제공업체에서 호스팅되어야 합니다. BYOK, OpenRouter는 사용자의 자체 키로 이에 접근하기 때문입니다. 또한 OpenRouter 카탈로그에 이미 있는 모델을 제공해야 하며, 해당 엔드포인트는 그 모델의 slug와 기능을 상속받기 때문입니다. 자체 가격 책정을 연결하여 비용 보고에 엔드포인트가 정확하게 표시되도록 할 수 있고, 해당 배포가 프롬프트를 보존하는지 여부를 선언할 수 있습니다.
새 엔드포인트로 무언가가 라우팅되기 전에, OpenRouter는 여러분의 워크스페이스 중 하나에 저장된 프로바이더 키를 통해 실제 요청을 하나 보냅니다. 이 요청은 키가 수락되는지, 배포가 OpenAI 호환 형식을 지원하는지, 스트리밍이 작동하는지, 사용량이 과금을 위해 반환되는지, 그리고 모델 ID가 등록한 것과 일치하는지를 검증합니다. 통과하면 엔드포인트를 활성화하고 조직 내 워크스페이스들이 모델 슬러그로 호출할 수 있습니다. 그때까지는 숨겨진 상태로 유지되며 호출할 수 없습니다.
코드에서 엔드포인트 관리
엔드포인트를 몇 개 이상 운영하거나 인프라를 코드로 관리한다면 설정 페이지를 건너뛰어도 됩니다. The 프라이빗 엔드포인트 API 초안 등록과 테스트 검사 실행부터 활성화, 가격 업데이트, 일시 중지 및 삭제에 이르는 전체 수명 주기를 다룹니다. 조직으로 인증되며 관리 API 키, 그리고 한 번의 create 호출로 엔드포인트를 등록, 테스트 및 활성화합니다.
curl https://openrouter.ai/api/v1/private-endpoints \
-H "Authorization: Bearer $OPENROUTER_MANAGEMENT_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: gpt-4o-prod" \
-d '{
"model_permaslug": "openai/gpt-4o-2024-08-06",
"provider_slug": "openai",
"base_url": "https://api.openai.com/v1",
"upstream_model_id": "gpt-4o-2024-08-06",
"pricing": { "prompt": "0.0000025", "completion": "0.00001" },
"activate": { "workspace_id": "<workspace-id>" }
}'테스트 체크가 실패하면 초안은 유지되고 실패한 체크와 함께 되돌아오므로, 수정한 후 다시 시도할 수 있습니다. The Idempotency-Key 헤더 덕분에 재시도가 안전합니다(동일한 키를 반복해서 보내면 첫 번째 요청이 생성한 엔드포인트가 반환됩니다). OpenRouter Terraform provider 는 이 모든 것을 openrouter_private_endpoint 리소스로 감싸므로, terraform apply 엔드포인트를 등록하고, 테스트하고, 활성화하며, terraform destroy 해당 엔드포인트를 제거합니다.
알아두면 좋은 점
- 엔드포인트를 비공개로 표시한다고 해서 그것이 Zero Data Retention 엔드포인트가 되는 것은 아닙니다. 귀하의 공급자는 이전과 정확히 동일한 방식으로 프롬프트를 처리하며, OpenRouter는 배포를 등록할 때 선언한 데이터 정책을 기록합니다.
- 프라이빗 엔드포인트는 다음을 사용할 수 있습니다 인트라 리전 라우팅(In-Region Routing) OpenRouter가 주소에서 지역을 파악할 수 있거나, 설정 중에 지역을 선언하는 경우입니다. 다음으로 요청:
us.openrouter.ai또는eu.openrouter.ai해당 리전 내부의 배포로 라우팅합니다. The 리전 내 라우팅 가이드 지원되는 공급자를 나열합니다. - 해당 엔드포인트를 호출하는 각 워크스페이스에 공급자 키를 BYOK 아래에 저장해야 하며, 설정 중 테스트 요청 역시 키가 거기에 있어야 합니다.
- 각 조직은 기본적으로 최대 10개의 프라이빗 엔드포인트를 가질 수 있으며, 아직 설정 중인 엔드포인트도 이 한도에 포함됩니다.
시작하기
Private Endpoints는 Enterprise 플랜에 추가되는 애드온입니다. 계정 담당자에게 조직에 이 기능을 활성화해 달라고 요청하거나 팀과 상담하기.
활성화되면 조직 관리자가 다음에서 첫 엔드포인트를 추가할 수 있습니다. 프라이빗 엔드포인트 계정의 페이지 또는 다음을 통해 Management API 키로 프라이빗 엔드포인트 API.