قد يواجه الاستدلال في منطقة واحدة قيودًا على المعدل عندما يتجاوز الطلب السعة المحلية. وتحتاج الفرق في تايلاند وماليزيا وسنغافورة وإندونيسيا وتايوان إلى الوصول إلى أحدث نماذج OpenAI بما يتجاوز تلك السعة. Amazon Bedrock يقدم OpenAI GPT-6 Sol وGPT-6 Luna من خلال الاستدلال العالمي عبر المناطق من جميع المناطق الخمس لـ AWS، وGPT-6 Astra من آسيا والمحيط الهادئ (سنغافورة). يوضح لك هذا المنشور كيفية تهيئة الاستدعاء، وتعيين الأذونات، ومراقبة الاستدلال من منطقتك المصدر.
يتوفر كل من GPT-6 Sol وGPT-6 Luna وGPT-6 Astra من خلال الاستدلال العالمي عبر المناطق من المناطق المذكورة سابقًا، عبر bedrock-runtime endpoint. انظر الاستدلال عبر المناطق في دليل مستخدم Amazon Bedrock. للحصول على القائمة الكاملة للمناطق المصدر والوجهة في كل ملف تعريف، راجع المناطق والنماذج المدعومة لملفات تعريف الاستدلال.
في هذا المنشور، نقدم ملفات تعريف الاستدلال العالمي عبر المناطق ونستدعيها من آسيا والمحيط الهادئ (سنغافورة) باستخدام واجهة Converse API، وواجهات برمجة التطبيقات المتوافقة مع OpenAI، وعملاء البرمجة. ثم نغطي تهيئة AWS Identity and Access Management (IAM) وسياسة التحكم في الخدمة (SCP)، وإدارة الحصص، والمراقبة.
ملفات تعريف الاستدلال العالمي عبر المناطق لـ OpenAI GPT-6
تقدم عائلة GPT-6 ثلاثة نماذج، كل منها متاح من خلال الاستدلال العالمي عبر المناطق.
- يجلب GPT-6 Sol قدرات قوية في الاستدلال والبرمجة للمهام المعقدة المنجزة على مدار الأسبوع.
- يجعل GPT-6 Luna المهام المركزة القابلة للتكرار عملية ذات حجم كبير.
- يتعامل GPT-6 Astra مع الاستدلال المعقد والبرمجة والعمل على المستندات الطويلة.
تقبل النماذج الثلاثة جميعها المدخلات النصية والصورية، واستخدام الأدوات من جانب العميل، والتخزين المؤقت للأوامر التوجيهية. وهي تختلف في مستوى جهد الاستدلال. يقبل GPT-6 Sol وGPT-6 Luna المستويات none وlow وmedium وhigh وxhigh وmax. ويقبل GPT-6 Astra المستويات نفسها ما عدا none. بالنسبة إلى GPT-6 Sol وGPT-6 Luna، انظر إضفاء مزيد من الذكاء على العمل اليومي مع GPT-6 Sol وGPT-6 Luna على Amazon Bedrock. وبالنسبة إلى GPT-6 Astra، انظر تولَّ أكثر أعمالك طموحًا مع GPT-6 Astra على Amazon Bedrock.
يوجه الاستدلال العالمي عبر المناطق الطلبات عبر مناطق AWS التجارية المدعومة التي تم نشر النموذج فيها، مما يمنحك وصولاً واسعًا إلى سعة Amazon Bedrock. تقوم باستدعائه بتمرير معرف ملف تعريف الاستدلال العالمي عبر المناطق بدلاً من معرف النموذج. منطقتك المصدر هي المكان الذي تجري فيه استدعاء API. ويختار Amazon Bedrock منطقة الوجهة للمعالجة. وتبقى الفوترة وتتبع الحصص وAWS CloudTrail وAmazon CloudWatch جميعها في منطقتك المصدر.
يسرد الجدول التالي معرفات ملفات تعريف الاستدلال العالمي عبر المناطق والمناطق المصدر المشمولة في هذا المنشور.
| ملفات تعريف الاستدلال العالمي عبر المناطق | المناطق المصدر | المناطق الوجهة |
|
global.openai.gpt-6-sol global.openai.gpt-6-luna |
آسيا والمحيط الهادئ (سنغافورة) ap-southeast-1 آسيا والمحيط الهادئ (جاكرتا) ap-southeast-3 آسيا والمحيط الهادئ (ماليزيا) ap-southeast-5 آسيا والمحيط الهادئ (تايلاند) ap-southeast-7 آسيا والمحيط الهادئ (تايبيه) ap-east-2 |
مناطق AWS التجارية المدعومة التي تم نشر النموذج فيها |
| global.openai.gpt-6-astra | آسيا والمحيط الهادئ (سنغافورة) ap-southeast-1 | مناطق AWS التجارية المدعومة التي تم نشر النموذج فيها |
يتغير توفر ملفات الاستدلال ودعم المناطق كلما أضافت AWS مناطق وملفات تعريف جديدة، لذا تحقق من كليهما في بطاقة النموذج قبل البدء في البناء: GPT-6 Sol, GPT-6 Luna، و GPT-6 Astra. للحصول على أسعار كل رمز (token)، راجع أسعار Amazon Bedrock.
البدء في استخدام نماذج OpenAI على Amazon Bedrock
ابدأ بالمتطلبات الأساسية، ثم استدعِ أيًا من ملفات الاستدلال الثلاثة عبر Converse API أو واجهات API المتوافقة مع OpenAI أو عميل البرمجة الحالي لديك.
المتطلبات الأساسية
- هوية IAM لديها إذن لاستدعاء الملف التعريفي. سياسة IAM في قسم Security and permissions تمنح فقط ما تحتاجه هذه الأمثلة.
- تفعيل المنطقة المصدر لديك. فقط المنطقة التي تتصل منها تحتاج إلى التفعيل. أنت لا تفعّل المناطق الوجهة، التي تعمل على سعة مُدارة من Amazon Bedrock. سنغافورة (
ap-southeast-1) هي منطقة مفعّلة بشكل افتراضي. جاكرتا (ap-southeast-3)، وماليزيا (ap-southeast-5)، وتايلاند (ap-southeast-7)، وتايبيه (ap-east-2) هي مناطق opt-in يجب عليك تفعيلها أولاً. لمزيد من المعلومات، راجع Enable or disable AWS Regions in your account. - حزمة AWS SDK أو واجهة سطر الأوامر CLI حديثة. الأمثلة المتوافقة مع OpenAI تتطلب أيضًا حزمة OpenAI SDK ومولّد رموز Amazon Bedrock. ثبّتها باستخدام
pip install boto3 openai aws-bedrock-token-generator.
تدرج وحدة تحكم Amazon Bedrock جميع الملفات التعريفية الثلاثة للاستدلال العابر للمناطق على المستوى العالمي ضمن الملفات التعريفية المعرّفة من قبل النظام. انظر الشكل 1.
الشكل 1: الملفات التعريفية الثلاثة العالمية لـ OpenAI GPT-6 بين الملفات التعريفية المعرّفة من قبل النظام في وحدة تحكم Amazon Bedrock
استدعاء نماذج GPT-6 من خلال Amazon Bedrock Runtime
يدعم كل نموذج ثلاثة مسارات وصول على نقطة النهاية هذه: واجهة Amazon Bedrock Converse API، وواجهة OpenAI Responses API، وواجهة OpenAI Chat Completions API. تُستدعى واجهات API المتوافقة مع OpenAI عبر مسارات /openai/v1 بدلاً من خلال حزم AWS SDK، وتقبل نقطة النهاية إما Signature Version 4 (SigV4) أو مفتاح API من Amazon Bedrock. مرّر معرّف الملف التعريفي العالمي العابر للمناطق كـ model في كل الحالات.
واجهة Converse API. يستدعي هذا المثال GPT-6 Sol من آسيا والمحيط الهادئ (سنغافورة) ويسجّل الاستجابة. عيّن BEDROCK_PROFILE_ID إلى global.openai.gpt-6-luna أو global.openai.gpt-6-astra لتبديل النماذج، أو استدعِ converse_stream للبث المباشر.
import logging
import os
import boto3
# AWS_REGION overrides this default, so set it to your source Region or unset it.
REGION = os.environ.get("AWS_REGION", "ap-southeast-1")
PROFILE_ID = os.environ.get("BEDROCK_PROFILE_ID", "global.openai.gpt-6-sol")
PROMPT = (
"In three bullet points, explain when a workload should use "
"cross-Region inference instead of calling a model in a single Region."
)
logging.basicConfig(format="%(levelname)s %(message)s")
log = logging.getLogger("bedrock-cris")
log.setLevel(logging.INFO)
client = boto3.client("bedrock-runtime", region_name=REGION)
# AccessDeniedException points at the IAM policy. ValidationException usually
# means the model ID is not a global cross-Region inference profile.
response = client.converse(
modelId=PROFILE_ID,
messages=[{"role": "user", "content": [{"text": PROMPT}]}],
inferenceConfig={"maxTokens": 1024},
# GPT-6 Sol and Luna accept none through max. GPT-6 Astra rejects none.
additionalModelRequestFields={"reasoning": {"effort": "low"}},
)
# Any effort above none can prepend a reasoningContent block, so pick the text
# block by key rather than by position.
text = "".join(b["text"] for b in response["output"]["message"]["content"] if "text" in b)
log.info("Called %s from %s", PROFILE_ID, REGION)
log.info("Stop reason: %s", response["stopReason"])
log.info("Response:\n%s", text)واجهة OpenAI Chat Completions API. وجّه حزمة OpenAI SDK إلى نقطة النهاية الإقليمية ومرّر نفس معرّف الملف التعريفي.
import logging
import os
from aws_bedrock_token_generator import provide_token
from openai import OpenAI
REGION = os.environ.get("AWS_REGION", "ap-southeast-1")
PROFILE_ID = os.environ.get("BEDROCK_PROFILE_ID", "global.openai.gpt-6-sol")
PROMPT = "List three uses for a message queue."
logging.basicConfig(format="%(levelname)s %(message)s")
log = logging.getLogger("bedrock-cris")
log.setLevel(logging.INFO)
# provide_token mints a short-term key from your AWS credentials, valid up to 12 hours.
client = OpenAI(
base_url=f"https://bedrock-runtime.{REGION}.amazonaws.com/openai/v1",
api_key=provide_token(region=REGION),
)
response = client.chat.completions.create(
model=PROFILE_ID,
messages=[{"role": "user", "content": PROMPT}],
max_completion_tokens=256,
)
log.info("Called %s from %s", PROFILE_ID, REGION)
log.info("Response:\n%s", response.choices[0].message.content)عند ترحيل عميل OpenAI موجود:
- عيّن معامل النموذج في كل طلب، بما في ذلك الطلبات التي تشير إلى استجابة سابقة.
- استخدم أنواع الأدوات المدعومة:
function,mcp,custom,namespaceوtool_search. - اضبط معرّف الملف التعريفي للاستدلال مباشرة في عميلك بدلاً من الاستعلام عن نقطة نهاية النماذج.
إعداد تطبيق ChatGPT لسطح المكتب وواجهة Codex CLI
يتشارك تطبيق ChatGPT لسطح المكتب وواجهة Codex CLI في ~/.codex/config.toml، لذا يغطي تغيير واحد كليهما. من مزوّدي Amazon Bedrock المدمجَين، فقط amazon-bedrock-runtime يقبل ملفًا تعريفيًا للاستدلال.
model = "global.openai.gpt-6-astra"
model_provider = "amazon-bedrock-runtime"
[model_providers.amazon-bedrock-runtime.aws]
region = "ap-southeast-1"توقيع SigV4 يعني عدم وجود مفتاح لتدويره. أضف profile = "<your-profile>" لملف تعريف غير افتراضي، وعيّن region بشكل صريح، لأن العميل وإلا سيعود إلى AWS_REGION. استبدل معرّف ملف تعريف آخر بـ model لتغيير النماذج.
يُبلِغ Codex عن نافذة تبلغ 272,000 رمزًا (token) لهذه الملفات الشخصية، وهو رقم مضمّن في Codex نفسه وليس حدًا من الخدمة. يمكنك رفعه باستخدام model_context_window. يتطلب هذا الإعداد Codex CLI 0.148 أو أحدث.
يوضح الشكل 2 النتيجة في التطبيق.
الشكل 2: تطبيق ChatGPT لسطح المكتب يعمل بنموذج GPT-6 Astra على Amazon Bedrock
الأمان والأذونات
يقدم Amazon Bedrock مجموعة من عناصر التحكم في الاستدلال. يهمّ اثنان منها هنا: سياسات AWS Identity and Access Management (IAM) التي تتحكم في الأدوار المسموح لها باستدعاء الملفات الشخصية، وسياسات تحكم الخدمة (SCPs) التي تطبق ضوابط على مستوى المؤسسة بأكملها، بما في ذلك نطاق المنطقة. يغطي هذا القسم كليهما، إضافة إلى مكان وصول بيانات الطلب.
أذونات IAM للاستدلال العالمي عبر المناطق
لاستدعاء أي من هذه النماذج عبر ملف تعريف استدلال عالمي عبر المناطق، تحتاج سياسة IAM لديك إلى أربع عبارات:
- الوصول إلى ملف تعريف الاستدلال والمورد project/default في منطقتك المصدر.
- الوصول إلى النموذج الأساسي في منطقتك المصدر، مقصورًا على ملف تعريف الاستدلال.
- اسم مورد Amazon المنطقة المحايد (ARN) للنموذج الأساسي,
arn:aws:bedrock:::foundation-model/openai.gpt-6-sol، مع تعيينaws:RequestedRegionإلىunspecifiedللسماح بالتوجيه عبر المناطق. bedrock:CallWithBearerTokenلمصادقة مفتاح API.
تمنح سياسة IAM هذه إذن استدعاء GPT-6 Sol عبر الاستدلال العالمي عبر المناطق من ap-southeast-1. استبدلها بمعرّف حساب AWS الخاص بك و ap-southeast-1 بمنطقتك المصدر.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "GrantGlobalCrisProfileAndProjectAccess",
"Effect": "Allow",
"Action": ["bedrock:InvokeModel"],
"Resource": [
"arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol",
"arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:project/default"
],
"Condition": {
"StringEquals": { "aws:RequestedRegion": "ap-southeast-1" }
}
},
{
"Sid": "GrantGlobalCrisInRegionModelAccess",
"Effect": "Allow",
"Action": ["bedrock:InvokeModel"],
"Resource": ["arn:aws:bedrock:ap-southeast-1::foundation-model/openai.gpt-6-sol"],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "ap-southeast-1",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol"
}
}
},
{
"Sid": "GrantGlobalCrisGlobalModelAccess",
"Effect": "Allow",
"Action": ["bedrock:InvokeModel"],
"Resource": ["arn:aws:bedrock:::foundation-model/openai.gpt-6-sol"],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol"
}
}
},
{
"Sid": "AllowBearerTokenAuth",
"Effect": "Allow",
"Action": ["bedrock:CallWithBearerToken"],
"Resource": "*"
}
]
}إذا كنت تستخدم البث (converse_stream أو stream=True)، أضف bedrock:InvokeModelWithResponseStream إلى Action في العبارات الثلاث الأولى. يُصرِّح Converse بصفته bedrock:InvokeModel. إذا كنت تستدعي Converse فقط باستخدام بيانات اعتماد SigV4، فاحذف العبارة الرابعة.
لتبديل النماذج، استبدل openai.gpt-6-sol بـ openai.gpt-6-luna أو openai.gpt-6-astra في جميع المواضع. للحصول على المرجع الكامل، راجع متطلبات سياسة IAM للاستدلال العالمي عبر المناطق.
اعتبارات سياسة التحكم في الخدمة للاستدلال العالمي عبر المناطق
لا يحمل طلب الاستدلال العالمي عبر المناطق اسم أي منطقة. تقوم Amazon Bedrock بتعيين aws:RequestedRegion إلى unspecified، لذلك ترفض قائمة المناطق المسموح بها في سياسة التحكم في الخدمة (SCP) الطلب، ويذكر الخطأ نوع السياسة فقط، دون تحديد أي سياسة. هذا سبب شائع لفشل أول استدعاء في حساب مؤسسي.
بدلاً من توسيع قائمة السماح، قيّد الاستثناء. تعبّئ خدمة Amazon Bedrock مفتاح الشرط bedrock:InferenceProfileArn أثناء التخويل، بحيث يمكن لـ SCP السماح بهذه الملفات التعريفية مع الحفاظ على ضوابط المنطقة لكل شيء آخر. SCP التالي يقوم بذلك.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "DenyOutsideApprovedRegionsExceptBedrockInvoke",
"Effect": "Deny",
"NotAction": [
"iam:*", "sts:*", "organizations:*", "account:*",
"route53:*", "cloudfront:*", "waf:*", "wafv2:*", "shield:*",
"support:*", "trustedadvisor:*", "health:*",
"budgets:*", "ce:*", "cur:*", "tax:*", "billing:*",
"bedrock:Invoke*"
],
"Resource": "*",
"Condition": {
"StringNotEquals": { "aws:RequestedRegion": ["ap-southeast-1"] }
}
},
{
"Sid": "DenyBedrockInferenceOutsideApprovedRegionsUnlessCris",
"Effect": "Deny",
"Action": ["bedrock:Invoke*"],
"Resource": "*",
"Condition": {
"StringNotEquals": { "aws:RequestedRegion": ["ap-southeast-1"] },
"ArnNotLike": {
"bedrock:InferenceProfileArn": [
"arn:aws:bedrock:*:*:inference-profile/global.*"
]
}
}
}
]
}العبارة الأولى تفرض قائمة السماح بالمناطق الخاصة بك لكل خدمة باستثناء استدلال Amazon Bedrock. العبارة الثانية ترفض ذلك الاستثناء خارج تلك المناطق ما لم يمر عبر ملف تعريف استدلال عالمي عابر للمناطق. بالنسبة للملفات التعريفية الجغرافية، أضف بادئتها (على سبيل المثال inference-profile/us.*) إلى قائمة ArnNotLike ، لأن الطلبات الجغرافية تحمل اسم منطقة حقيقياً. احتفظ بمنطقتك المصدر في قائمة السماح، وأضف الخدمات العالمية التي تستخدمها مؤسستك إلى NotAction.
بديل أكثر عمومية هو إضافة unspecified إلى قائمة السماح الحالية لديك، وهو ما يعمل لكنه يفتح الاستثناء نفسه لكل خدمة أخرى. لملف سياسة جاهز للاستخدام، راجع مستودع aws-samples service-control-policy-examples.
الاحتفاظ بالبيانات واكتشاف سوء الاستخدام
لاكتشاف سوء الاستخدام دون الاتصال بشكل آلي، يتم الاحتفاظ بحركة المرور التي وضّحها المصنّف من قبل AWS لمدة تصل إلى 30 يوماً ومعالجتها برمجياً. في ظل الاستدلال العابر للمناطق، يحدث هذا الاحتفاظ في المنطقة الوجهة، وهي بالنسبة لملف تعريف عالمي أي منطقة AWS تجارية مدعومة تم نشر النموذج فيها. قد يطلب العملاء المؤهلون الاحتفاظ الكامل الصفري بالبيانات من خلال فريق حساب AWS الخاص بهم. لمزيد من المعلومات، راجع اكتشاف سوء الاستخدام في Amazon Bedrock و الاحتفاظ بالبيانات.
إذا كانت لدى مؤسستك متطلبات لإقامة البيانات، فاعرض هذا الموضوع مبكراً على فريق المخاطر والامتثال لديك. راجع صفحات الدول في مركز الامتثال للخدمات المالية AWS لهذه الدول الخمس. نوصي بالحصول على استشارتك الخاصة بشأن الامتثال للمتطلبات ذات الصلة بعملك.
إدارة الحصص
تُقاس حصص GPT-6 على bedrock-runtime بالتوكنات في الدقيقة (TPM)، وتُتعقب مقابل منطقة المصدر التي تستدعي منها. توكنات الإدخال وكتابة ذاكرة التخزين المؤقت تُحتسب بنسبة 1:1، وكل توكن إخراج يستهلك 10 توكنات من الحصة. على سبيل المثال، طلب يحتوي على 2,000 توكن إدخال و1,000 توكن إخراج يستنفد 12,000 توكن من حصتك.
تحتفظ Amazon Bedrock بكامل max_tokens مقدماً، لذا اضبطه قريباً من الإكمالات التي تتوقعها. تغطي حصة واحدة InvokeModelو Converse و Responses و Chat Completions. راجعها وارفعها من وحدة تحكم حصص الخدمة من منطقة المصدر الخاصة بك. قبل الإنتاج، اطلب الزيادات مبكراً وأطلق التنبيهات على EstimatedTPMQuotaUsage في مساحة الأسماء AWS/Bedrock عند 70–80 بالمئة من مخصصاتك. راجع كيفية احتساب التوكنات في Amazon Bedrock و نقاط النهاية والحصص في Amazon Bedrock للحصول على القيم الحالية.
المراقبة والتسجيل
تبقى وحدتك التشغيلية في منطقة المصدر الخاصة بك. تبقى مقاييس Amazon CloudWatch وأحداث AWS CloudTrail وسجلات استدعاء النماذج ومحاسبة الحصص والفوترة كلها في المنطقة التي اتصلت منها. تدفع أسعار تلك المنطقة، لا أسعار منطقة المعالجة.
يسجل CloudTrail المكان الذي عولج فيه كل طلب. توثق AWS وجهات ملف تعريف الاستدلال عبر المناطق العالمي على أنها مناطقه التجارية بدلاً من سردها بالتفصيل. GetInferenceProfile يعرض ARN للنموذج المستقل عن المنطقة وARN الخاص بمنطقة المصدر بدلاً من قائمة الوجهات. سجل الطلب الخاص بك هو additionalEventData.inferenceRegion في CloudTrail في منطقة المصدر لديك. الاستدلال على نقطة النهاية هذه هو حدث إداري، يُسجَّل افتراضيًا دون أي تكلفة إضافية. يحتفظ سجل أحداث CloudTrail بـ 90 يومًا، لذا فإن الآفاق الزمنية الأطول تتطلب trail أو تسجيل استدعاء النموذج. استرد أحداث CloudTrail بهذا الأمر.
aws cloudtrail lookup-events \
--region ap-southeast-1 \
--lookup-attributes AttributeKey=EventSource,AttributeValue=bedrock.amazonaws.com \
--start-time <START> \
--end-time <END> \
--max-results 1 \
--query 'Events[0].CloudTrailEvent' --output text | python3 -m json.toolاضبط النافذة الزمنية حول استدعاء أجريته للتو، لأن تسليم CloudTrail يتأخر ببضع دقائق. إذا كان الحدث الأحدث استدعاءً فاشلاً، فإنه يحمل errorCode وليس inferenceRegion. ارفع --max-results واختر حدثًا لا يحتوي على errorCode.
{
"eventName": "Converse",
"eventSource": "bedrock.amazonaws.com",
"awsRegion": "ap-southeast-1",
"managementEvent": true,
"requestParameters": {
"modelId": "global.openai.gpt-6-sol",
"inferenceConfig": { "maxTokens": 1024 }
},
"additionalEventData": {
"inferenceRegion": "us-east-1"
}
}تبقى المقاييس واستخدام وكيل البرمجة في CloudWatch. حيثما يصل المطورون إلى GPT-6 عبر وكيل برمجة، يضيف CloudWatch Coding Agent Insights لوحات معلومات جاهزة ضمن GenAI Observability تُفصّل استخدام الرموز حسب المستخدم والفريق ومركز التكلفة. تصدر الوكلاء مقاييس OpenTelemetry بشكل أصلي. بالنسبة إلى Codex، انظر Set up OpenTelemetry for OpenAI Codex.
التنظيف
تضيف هذه التدوينة سياسة IAM، وبشكل اختياري عبارة SCP، ووجهة تسجيل. قم بفصل أو حذف سياسة IAM التي أرفقتها، وأرجِع إدخال SCP إذا كنت قد أضفته. احذف وجهة تسجيل استدعاء النموذج في Amazon Simple Storage Service (Amazon S3) أو Amazon CloudWatch Logs إذا كنت قد أنشأت واحدة، لتجنب رسوم التخزين. ملفات تعريف الاستدلال العالمية عبر المناطق معرّفة من قبل النظام، لذا لا يوجد ما يجب حذفه.
الخاتمة
أظهرت هذه التدوينة كيفية استدعاء GPT-6 Sol وGPT-6 Luna من خمس مناطق مصدر في آسيا والمحيط الهادئ، وGPT-6 Astra من آسيا والمحيط الهادئ (سنغافورة)، من خلال الاستدلال العالمي عبر المناطق على bedrock-runtime. مرّر معرّف ملف تعريف الاستدلال العالمي عبر المناطق كمعامل model parameter، وقم بتكوين استثناءات سياسة IAM وSCP الواردة في هذه التدوينة. توفر نفس نقطة النهاية واجهات برمجة التطبيقات المتوافقة مع OpenAI، لذا يمكن نقل تكامل OpenAI الحالي بمجرد تغيير عنوان URL أساسي ومفتاح.
للبدء، أرفق سياسة IAM الواردة في هذه التدوينة، وأرسل أول طلب عبر global.openai.gpt-6-sol. حدد حجم حصة الرموز في الدقيقة بمعدل الحرق 10x، وتأكد في CloudTrail من ظهور additionalEventData.inferenceRegion على مكالماتك.
لمزيد من المعلومات، راجع Amazon Bedrock User Guide, توجيه طلبات استدلال النماذج عبر مناطق AWS باستخدام الاستدلال عبر المناطقو Amazon Bedrock pricing.