단일 리전 인퍼런스는 수요가 해당 리전의 용량을 초과할 때 처리가 제한될 수 있습니다. 태국, 말레이시아, 싱가포르, 인도네시아, 대만의 팀은 이러한 용량을 넘어서 최신 OpenAI 모델에 대한 접근이 필요합니다. Amazon Bedrock 모든 5개 AWS 리전에서 글로벌 교차 리전 추론을 통해 OpenAI GPT-6 Sol과 GPT-6 Luna를 제공하며, GPT-6 Astra는 아시아 태평양(싱가포르)에서 제공합니다. 이 게시물에서는 호출을 구성하고, 권한을 설정하고, 소스 리전에서 추론을 모니터링하는 방법을 보여줍니다.
GPT-6 Sol, GPT-6 Luna, GPT-6 Astra는 모두 앞서 언급한 리전에서 전 세계 교차 리전 추론을 통해 사용할 수 있으며, bedrock-runtime 엔드포인트. 참조 교차 리전 추론 Amazon Bedrock 사용 설명서. 각 프로파일의 소스 및 대상 리전 전체 목록은 다음을 참조하세요. 추론 프로파일에 대해 지원되는 리전 및 모델.
이 게시물에서는 글로벌 교차 리전 추론 프로파일을 소개하고 아시아 태평양(싱가포르)에서 Converse API, OpenAI 호환 API, 코딩 클라이언트를 사용하여 이를 호출합니다. 이어서 다음 내용을 다룹니다. AWS Identity and Access Management (IAM) 및 서비스 제어 정책(SCP) 구성, 할당량 관리, 모니터링.
OpenAI GPT-6를 위한 글로벌 교차 리전 추론 프로파일
GPT-6 계열은 세 가지 모델을 제공하며, 각 모델은 글로벌 교차 리전 추론을 통해 사용할 수 있습니다.
- GPT-6 Sol은 주 7일 동안 수행되는 복잡한 작업에 강력한 추론 및 코딩 기능을 제공합니다.
- GPT-6 Luna는 집중적이고 반복 가능한 작업을 대량으로 처리할 수 있게 해줍니다.
- GPT-6 Astra는 복잡한 추론, 코딩 및 긴 문서 작업을 처리합니다.
세 모델 모두 텍스트 및 이미지 입력, 클라이언트 측 도구 사용, 프롬프트 캐싱을 지원합니다. 차이점은 추론 노력(reasoning effort)에 있습니다. GPT-6 Sol과 GPT-6 Luna는 none, low, medium, high, xhigh, max를 허용합니다. GPT-6 Astra는 none을 제외한 동일한 수준을 허용합니다. GPT-6 Sol 및 GPT-6 Luna에 대해서는 다음을 참조하세요. Amazon Bedrock의 GPT-6 Sol 및 GPT-6 Luna로 일상 업무에 더 많은 지능을 더하기. GPT-6 Astra에 대해서는 다음을 참조하세요. Amazon Bedrock의 GPT-6 Astra로 가장 야심 찬 작업에 도전하기.
글로벌 교차 리전 추론은 모델이 배포된 지원되는 상용 AWS 리전 전반에서 요청을 라우팅하여 Amazon Bedrock 용량에 대한 폭넓은 액세스를 제공합니다. 모델 ID 대신 글로벌 교차 리전 추론 프로파일 ID를 전달하여 호출합니다. 소스 리전은 API 호출을 수행하는 리전입니다. Amazon Bedrock이 처리를 위한 대상 리전을 선택합니다. 청구, 할당량 추적, AWS CloudTrail, Amazon CloudWatch는 모두 소스 리전에 유지됩니다.
다음 표는 이 게시물에서 다루는 글로벌 교차 리전 추론 프로파일 ID와 소스 리전을 나열합니다.
| 글로벌 교차 리전 추론 프로파일 | 소스 리전 | 대상 리전 |
|
global.openai.gpt-6-sol global.openai.gpt-6-luna |
아시아 태평양(싱가포르) ap-southeast-1 아시아 태평양(자카르타) ap-southeast-3 아시아 태평양 (말레이시아) ap-southeast-5 아시아 태평양 (태국) ap-southeast-7 아시아 태평양 (타이베이) ap-east-2 |
해당 모델이 배포된 지원되는 상용 AWS 리전 |
| global.openai.gpt-6-astra | 아시아 태평양 (싱가포르) ap-southeast-1 | 해당 모델이 배포된 지원되는 상용 AWS 리전 |
추론 프로파일 가용성과 리전 지원은 AWS가 리전과 프로파일을 추가함에 따라 변경되므로, 구축을 시작하기 전에 모델 카드에서 두 가지를 모두 확인하십시오: GPT-6 Sol, GPT-6 Luna및 GPT-6 Astra. 토큰당 요금은 다음을 참조하십시오: Amazon Bedrock pricing.
Getting started with OpenAI models on Amazon Bedrock
전제 조건에서 시작한 다음, Converse API, OpenAI 호환 API 또는 기존 코딩 클라이언트를 통해 세 가지 프로파일 중 하나를 호출하십시오.
전제 조건
- 프로파일을 호출할 권한이 있는 IAM 자격 증명입니다. Security and permissions 섹션의 IAM 정책은 이 예제에 필요한 권한만 부여합니다.
- 소스 리전이 활성화되었습니다. 호출하는 리전만 활성화하면 됩니다. 대상 리전은 Amazon Bedrock 관리형 용량에서 실행되므로 활성화할 필요가 없습니다. 싱가포르(
ap-southeast-1) 리전은 기본적으로 활성화되어 있습니다. 자카르타(ap-southeast-3), 말레이시아(ap-southeast-5), 태국(ap-southeast-7), 타이베이(ap-east-2)는 사전에 활성화해야 하는 옵트인 리전입니다. 자세한 내용은 계정에서 AWS 리전 활성화 또는 비활성화. - 최신 AWS SDK 또는 CLI. OpenAI 호환 예제에는 OpenAI SDK와 Amazon Bedrock 토큰 생성기도 필요합니다. 다음 명령으로 설치하세요
pip install boto3 openai aws-bedrock-token-generator.
Amazon Bedrock 콘솔에는 세 가지 글로벌 교차 리전 추론 프로파일이 모두 시스템 정의 추론 프로파일 아래에 표시됩니다. 그림 1을 참조하세요.
그림 1: Amazon Bedrock 콘솔의 시스템 정의 프로파일 중 세 가지 글로벌 OpenAI GPT-6 추론 프로파일
Amazon Bedrock Runtime을 통해 GPT-6 모델 호출
각 모델은 이 엔드포인트에서 세 가지 액세스 경로를 지원합니다: Amazon Bedrock Converse API, OpenAI Responses API, OpenAI Chat Completions API입니다. OpenAI 호환 API는 AWS SDK를 통하지 않고 /openai/v1 경로를 통해 호출되며, 엔드포인트는 Signature Version 4(SigV4) 또는 Amazon Bedrock API 키를 모두 허용합니다. 모든 경우에 글로벌 교차 리전 추론 프로파일 ID를 model 로 전달하세요.
Converse API. 이 예제는 아시아 태평양(싱가포르)에서 GPT-6 Sol을 호출하고 응답을 기록합니다. BEDROCK_PROFILE_ID 을 global.openai.gpt-6-luna 또는 global.openai.gpt-6-astra 으로 설정하여 모델을 전환하거나, 스트리밍을 위해 converse_stream 을 호출하세요.
import logging
import os
import boto3
# AWS_REGION overrides this default, so set it to your source Region or unset it.
REGION = os.environ.get("AWS_REGION", "ap-southeast-1")
PROFILE_ID = os.environ.get("BEDROCK_PROFILE_ID", "global.openai.gpt-6-sol")
PROMPT = (
"In three bullet points, explain when a workload should use "
"cross-Region inference instead of calling a model in a single Region."
)
logging.basicConfig(format="%(levelname)s %(message)s")
log = logging.getLogger("bedrock-cris")
log.setLevel(logging.INFO)
client = boto3.client("bedrock-runtime", region_name=REGION)
# AccessDeniedException points at the IAM policy. ValidationException usually
# means the model ID is not a global cross-Region inference profile.
response = client.converse(
modelId=PROFILE_ID,
messages=[{"role": "user", "content": [{"text": PROMPT}]}],
inferenceConfig={"maxTokens": 1024},
# GPT-6 Sol and Luna accept none through max. GPT-6 Astra rejects none.
additionalModelRequestFields={"reasoning": {"effort": "low"}},
)
# Any effort above none can prepend a reasoningContent block, so pick the text
# block by key rather than by position.
text = "".join(b["text"] for b in response["output"]["message"]["content"] if "text" in b)
log.info("Called %s from %s", PROFILE_ID, REGION)
log.info("Stop reason: %s", response["stopReason"])
log.info("Response:\n%s", text)OpenAI Chat Completions API. OpenAI SDK가 리전 엔드포인트를 가리키도록 하고 동일한 프로파일 ID를 전달하세요.
import logging
import os
from aws_bedrock_token_generator import provide_token
from openai import OpenAI
REGION = os.environ.get("AWS_REGION", "ap-southeast-1")
PROFILE_ID = os.environ.get("BEDROCK_PROFILE_ID", "global.openai.gpt-6-sol")
PROMPT = "List three uses for a message queue."
logging.basicConfig(format="%(levelname)s %(message)s")
log = logging.getLogger("bedrock-cris")
log.setLevel(logging.INFO)
# provide_token mints a short-term key from your AWS credentials, valid up to 12 hours.
client = OpenAI(
base_url=f"https://bedrock-runtime.{REGION}.amazonaws.com/openai/v1",
api_key=provide_token(region=REGION),
)
response = client.chat.completions.create(
model=PROFILE_ID,
messages=[{"role": "user", "content": PROMPT}],
max_completion_tokens=256,
)
log.info("Called %s from %s", PROFILE_ID, REGION)
log.info("Response:\n%s", response.choices[0].message.content)기존 OpenAI 클라이언트를 마이그레이션할 때:
- 이전 응답을 참조하는 요청을 포함하여 모든 요청에서 model 파라미터를 설정하세요.
- 지원되는 도구 유형을 사용하세요:
function,mcp,custom,namespace및tool_search. - models 엔드포인트를 조회하는 대신 클라이언트에서 추론 프로파일 ID를 직접 구성하세요.
ChatGPT 데스크톱 앱 및 Codex CLI 설정
ChatGPT 데스크톱 앱과 Codex CLI는 ~/.codex/config.toml을 공유하므로 한 번의 변경으로 둘 다 처리됩니다. 두 가지 내장 Amazon Bedrock 제공자 중 amazon-bedrock-runtime 만 추론 프로파일을 허용합니다.
model = "global.openai.gpt-6-astra"
model_provider = "amazon-bedrock-runtime"
[model_providers.amazon-bedrock-runtime.aws]
region = "ap-southeast-1"SigV4 서명을 사용하면 순환할 키가 없습니다. 다음을 추가하고 profile = "<your-profile>" 비기본 프로파일의 경우 region 를 명시적으로 설정하십시오. 그렇지 않으면 클라이언트가 AWS_REGION로 폴백하기 때문입니다. 다른 프로파일 ID로 model 를 대체하면 모델을 변경할 수 있습니다.
Codex는 이러한 프로파일에 대해 272,000토큰 컨텍스트 창을 보고하는데, 이는 서비스 한도가 아니라 Codex 자체에 번들된 수치입니다. 다음으로 이 값을 올릴 수 있습니다: model_context_window. 이 구성에는 Codex CLI 0.148 이상이 필요합니다.
그림 2는 앱에서의 결과를 보여줍니다.
그림 2: Amazon Bedrock에서 GPT-6 Astra를 실행하는 ChatGPT 데스크톱 앱
보안 및 권한
Amazon Bedrock은 추론에 대한 다양한 제어 기능을 제공합니다. 그중 두 가지가 여기서 중요합니다. AWS Identity and Access Management(IAM) 정책은 어떤 역할이 어떤 프로파일을 호출할 수 있는지 제어하고, 서비스 제어 정책(SCP)은 리전 범위를 포함하여 조직 전체에 적용되는 제어를 적용합니다. 이 섹션에서는 이 두 가지와 요청 데이터가 저장되는 위치를 다룹니다.
글로벌 교차 리전 추론을 위한 IAM 권한
글로벌 교차 리전 추론 프로파일을 통해 이러한 모델을 호출하려면 IAM 정책에 4개의 문이 필요합니다:
- 소스 리전에서 추론 프로파일 및 프로젝트/기본 리소스에 대한 액세스.
- 추론 프로파일로 범위가 지정된, 소스 리전의 파운데이션 모델에 대한 액세스.
- 파운데이션 모델의 리전 비종속 Amazon Resource Name(ARN), 즉
arn:aws:bedrock:::foundation-model/openai.gpt-6-sol, 여기서aws:RequestedRegion는unspecified으로 설정되어 교차 리전 라우팅을 허용합니다. bedrock:CallWithBearerTokenAPI 키 인증을 위한 것입니다.
이 IAM 정책은 다음으로부터 글로벌 교차 리전 추론을 통해 GPT-6 Sol을 호출할 수 있는 권한을 부여합니다. ap-southeast-1에서 글로벌 교차 리전 추론을 통해 GPT-6 Sol을 호출할 수 있는 권한을 부여합니다. AWS 계정 ID와 ap-southeast-1 를 소스 리전으로 대체하십시오.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "GrantGlobalCrisProfileAndProjectAccess",
"Effect": "Allow",
"Action": ["bedrock:InvokeModel"],
"Resource": [
"arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol",
"arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:project/default"
],
"Condition": {
"StringEquals": { "aws:RequestedRegion": "ap-southeast-1" }
}
},
{
"Sid": "GrantGlobalCrisInRegionModelAccess",
"Effect": "Allow",
"Action": ["bedrock:InvokeModel"],
"Resource": ["arn:aws:bedrock:ap-southeast-1::foundation-model/openai.gpt-6-sol"],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "ap-southeast-1",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol"
}
}
},
{
"Sid": "GrantGlobalCrisGlobalModelAccess",
"Effect": "Allow",
"Action": ["bedrock:InvokeModel"],
"Resource": ["arn:aws:bedrock:::foundation-model/openai.gpt-6-sol"],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol"
}
}
},
{
"Sid": "AllowBearerTokenAuth",
"Effect": "Allow",
"Action": ["bedrock:CallWithBearerToken"],
"Resource": "*"
}
]
}스트리밍(converse_stream 또는 stream=True)을 사용하는 경우 처음 세 개 문의 Action에 bedrock:InvokeModelWithResponseStream 를 추가하십시오. Converse는 bedrock:InvokeModel으로 권한을 부여합니다. SigV4 자격 증명으로만 Converse를 호출한다면 네 번째 문은 제거하십시오.
모델을 전환하려면 전체에서 openai.gpt-6-sol 를 openai.gpt-6-luna 또는 openai.gpt-6-astra 로 대체하십시오. 전체 참조는 다음을 참조하십시오: 글로벌 교차 리전 추론을 위한 IAM 정책 요구 사항.
글로벌 교차 리전 추론을 위한 서비스 제어 정책(SCP) 고려 사항
글로벌 교차 리전 추론 요청에는 리전 이름이 포함되지 않습니다. Amazon Bedrock이 aws:RequestedRegion 을 unspecified(으)로 설정하므로, SCP의 리전 허용 목록이 해당 호출을 거부하며, 오류는 정책 유형만 표시할 뿐 어떤 정책인지는 알려주지 않습니다. 이것이 기업 계정에서 첫 호출이 실패하는 흔한 이유입니다.
허용 목록(allowlist)을 넓히기보다는 예외의 범위를 한정하세요. Amazon Bedrock은 다음을 채웁니다 bedrock:InferenceProfileArn 권한 부여 시 condition key를 사용하므로, SCP는 다른 모든 항목에 대한 Region 제어를 유지하면서 이러한 프로파일을 허용할 수 있습니다. 다음 SCP가 그렇게 수행합니다.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "DenyOutsideApprovedRegionsExceptBedrockInvoke",
"Effect": "Deny",
"NotAction": [
"iam:*", "sts:*", "organizations:*", "account:*",
"route53:*", "cloudfront:*", "waf:*", "wafv2:*", "shield:*",
"support:*", "trustedadvisor:*", "health:*",
"budgets:*", "ce:*", "cur:*", "tax:*", "billing:*",
"bedrock:Invoke*"
],
"Resource": "*",
"Condition": {
"StringNotEquals": { "aws:RequestedRegion": ["ap-southeast-1"] }
}
},
{
"Sid": "DenyBedrockInferenceOutsideApprovedRegionsUnlessCris",
"Effect": "Deny",
"Action": ["bedrock:Invoke*"],
"Resource": "*",
"Condition": {
"StringNotEquals": { "aws:RequestedRegion": ["ap-southeast-1"] },
"ArnNotLike": {
"bedrock:InferenceProfileArn": [
"arn:aws:bedrock:*:*:inference-profile/global.*"
]
}
}
}
]
}첫 번째 문은 Amazon Bedrock 추론을 제외한 모든 서비스에 대해 리전 허용 목록을 강제합니다. 두 번째 문은 해당 추론이 글로벌 교차 리전 추론 프로파일을 통해 라우팅되지 않는 한 이러한 리전 외부에서의 추론을 거부합니다. 지리적 프로파일의 경우 해당 접두사를 추가하십시오(예: inference-profile/us.*) 에서 ArnNotLike 목록에 포함하세요. 지역 기반 요청에는 실제 Region 이름이 전달되기 때문입니다. 소스 Region은 허용 목록에 유지하고, 조직에서 사용하는 글로벌 서비스를 추가하세요. NotAction.
더 직접적인 대안은 다음을 추가하는 것이다 unspecified 기존 허용 목록에 추가하면 작동은 하지만 동일한 예외를 다른 모든 서비스에도 열어주게 됩니다. 바로 사용할 수 있는 정책 파일은 다음을 참조하세요. aws-samples service-control-policy-examples 리포지토리.
데이터 보존 및 악용 탐지
자동화된 오프라인 악용 탐지를 위해 분류기에 의해 표시된 트래픽은 AWS에 최대 30일까지 보존되며 프로그램 방식으로 처리됩니다. 교차 리전 추론의 경우 이 보존은 대상 리전에서 이루어지며, 글로벌 프로필의 경우 모델이 배포된 지원되는 모든 상용 AWS 리전이 해당됩니다. 해당 고객은 AWS 계정 팀을 통해 완전한 무데이터 보존(zero data retention)을 요청할 수 있습니다. 자세한 내용은 다음을 참조하십시오. Amazon Bedrock 악용 탐지 그리고 데이터 보존.
조직에 데이터 레지던시 요건이 있는 경우, 이를 조기에 리스크 및 컴플라이언스 팀에 전달하세요. 다음을 참조하십시오: AWS 금융 서비스 규정 준수 센터 “이들 5개국의 국가별 페이지입니다. 귀하의 사업과 관련된 요건 준수에 대해서는 반드시 본인이 직접 전문가의 조언을 구하시기를 권장합니다.”
쿼터 관리
GPT-6 쿼터 안내 bedrock-runtime 분당 토큰 수(tokens per minute, TPM)로 측정되며, 호출을 수행하는 소스 리전을 기준으로 추적됩니다. 입력 및 캐시 쓰기 토큰은 1:1로 계산되고, 출력 토큰 1개는 할당량 10토큰을 소비합니다. 예를 들어, 입력 토큰 2,000개와 출력 토큰 1,000개가 있는 요청은 할당량에서 12,000토큰을 소진합니다.
Amazon Bedrock은 전체 max_tokens 을(를) 사전에 예약하므로, 예상되는 완성 결과에 가깝게 설정하세요. 하나의 할당량이 InvokeModel, Converse, Responses 및 Chat Completions을(를) 포괄합니다. Service Quotas 콘솔 에서 소스 리전 기준으로 확인하고 상향 조정하세요. 프로덕션에 앞서 미리 증가를 요청하고, 배정량의 70~80% 수준에서 EstimatedTPMQuotaUsage 네임스페이스의 AWS/Bedrock 네임스페이스를 할당량의 70–80 퍼센트 수준으로 유지하세요. 참고: How tokens are counted in Amazon Bedrock 및 Amazon Bedrock endpoints and quotas 을(를) 참조하세요.
모니터링 및 로깅
운영 표면은 소스 리전에 유지됩니다. Amazon CloudWatch 지표, AWS CloudTrail 이벤트, 모델 호출 로그, 할당량 회계, 그리고 청구는 모두 호출을 수행한 리전에 그대로 유지됩니다. 처리 리전의 요금이 아니라 해당 리전의 요금을 지불합니다.
CloudTrail은 각 요청이 어디서 처리되었는지 기록합니다. AWS는 글로벌 교차 리전 추론 프로파일의 대상지들을 하나하나 나열하지 않고 상용 리전(commmercial Regions)으로 문서화하고 있습니다. GetInferenceProfile 는 대상 목록 대신 리전에 구애받지 않는 모델 ARN과 소스 리전 모델 ARN을 반환합니다. 요청별 기록은 additionalEventData.inferenceRegion 소스 리전의 CloudTrail에 남습니다. 이 엔드포인트에 대한 추론은 관리 이벤트로서 기본적으로 추가 비용 없이 기록됩니다. CloudTrail 이벤트 기록은 90일간 보관되므로 더 긴 기간이 필요하면 트레일 또는 모델 호출 로깅이 필요합니다. 다음 명령으로 CloudTrail 이벤트를 조회하세요.
aws cloudtrail lookup-events \
--region ap-southeast-1 \
--lookup-attributes AttributeKey=EventSource,AttributeValue=bedrock.amazonaws.com \
--start-time <START> \
--end-time <END> \
--max-results 1 \
--query 'Events[0].CloudTrailEvent' --output text | python3 -m json.toolCloudTrail 전달이 몇 분 지연되므로 방금 수행한 호출 주변으로 시간 창을 설정하세요. 가장 최근 이벤트가 실패한 호출이었다면 그 이벤트는 errorCode 을(를) 포함하며 inferenceRegion은(는) 포함하지 않습니다. --max-results 을(를) 올리고 errorCode.
{
"eventName": "Converse",
"eventSource": "bedrock.amazonaws.com",
"awsRegion": "ap-southeast-1",
"managementEvent": true,
"requestParameters": {
"modelId": "global.openai.gpt-6-sol",
"inferenceConfig": { "maxTokens": 1024 }
},
"additionalEventData": {
"inferenceRegion": "us-east-1"
}
}이(가) 없는 이벤트를 선택하세요. 지표와 코딩 에이전트 사용량은 CloudWatch에 유지됩니다. 개발자가 코딩 에이전트를 통해 GPT-6에 접근하는 경우, CloudWatch Coding Agent Insights 가 GenAI Observability 아래에 즉시 사용 가능한 대시보드를 추가하여 토큰 사용량을 사용자, 팀, 비용 센터별로 분석해 보여줍니다. 에이전트는 OpenTelemetry 지표를 기본적으로 내보냅니다. Codex의 경우 다음을 참조하세요. OpenAI Codex용 OpenTelemetry 설정.
정리
이 게시물에서는 IAM 정책과 선택적으로 SCP 문 및 로깅 대상을 추가합니다. 연결했던 IAM 정책을 분리하거나 삭제하고, 추가한 SCP 항목이 있다면 되돌리세요. 안에 있는 모델 호출 로깅 대상을 삭제하세요. Amazon Simple Storage Service (Amazon S3) 또는 생성한 경우 Amazon CloudWatch Logs를 삭제하여 스토리지 요금이 부과되지 않도록 하십시오. 글로벌 교차 리전( cross-Region) 추론 프로파일은 시스템 정의이므로 삭제할 것이 없습니다.
결론
이 글에서는 다섯 개의 아시아 태평양 소스 리전에서 GPT-6 Sol과 GPT-6 Luna를 호출하고, 아시아 태평양(싱가포르)에서 GPT-6 Astra를 호출하는 방법을 다음을 통한 글로벌 교차 리전 추론으로 보여드렸습니다. bedrock-runtime. 글로벌 교차 리전 추론 프로파일 ID를 다음으로 전달하십시오. model 이 게시물의 매개변수를 설정하고 IAM 정책 및 SCP 예외를 구성하십시오. 동일한 엔드포인트가 OpenAI 호환 API도 제공하므로, 기존 OpenAI 통합은 베이스 URL과 키만 변경하면 그대로 이전할 수 있습니다.
시작하려면 이 게시물의 IAM 정책을 연결하고 첫 번째 요청을 보내십시오. global.openai.gpt-6-sol. 분당 토큰 수 쿼터를 10x 버니다운 비율로 설정하고, CloudTrail에서 다음을 확인하세요: additionalEventData.inferenceRegion 통화에 표시됩니다.
자세한 내용은 다음을 참조하세요: Amazon Bedrock 사용 설명서, cross-Region inference로 AWS 리전 전반에 걸쳐 모델 추론 요청 라우팅, 그리고 Amazon Bedrock 요금.