AWS Machine Learning

Zugriff auf OpenAI GPT-Modelle auf Amazon Bedrock mit globaler regionenübergreifender Inferenz in Thailand, Malaysia, Singapur, Indonesien…

Erfahren Sie, wie Sie OpenAI GPT-6 Sol, Luna und Astra auf Amazon Bedrock über globale regionenübergreifende Inferenz aus Singapur, Jakarta, Thailand, Malaysia und Taipei ausführen. Dieser Beitrag behandelt die Converse…

The three global OpenAI GPT-6 inference profiles among the system-defined profiles in the Amazon Bedrock console.
Bildquelle · AWS Machine Learning

Single-Region-Inferenz kann gedrosselt werden, wenn die Nachfrage die lokale Kapazität übersteigt. Teams in Thailand, Malaysia, Singapur, Indonesien und Taiwan benötigen Zugriff auf die neuesten OpenAI-Modelle über diese Kapazität hinaus. Amazon Bedrock bietet OpenAI GPT-6 Sol und GPT-6 Luna über globale regionenübergreifende Inferenz aus allen fünf AWS-Regionen an sowie GPT-6 Astra aus Asia Pacific (Singapore). Dieser Beitrag zeigt, wie Sie den Aufruf konfigurieren, Berechtigungen festlegen und die Inferenz aus Ihrer Quell-Region überwachen.

GPT-6 Sol, GPT-6 Luna und GPT-6 Astra sind alle über globale regionenübergreifende Inferenz aus den zuvor genannten Regionen auf dem bedrock-runtime -Endpunkt verfügbar. Siehe Cross-Region inference im Amazon Bedrock User Guide. Die vollständige Liste der Quell- und Ziel-Regionen in jedem Profil finden Sie unter Supported Regions and models for inference profiles.

In diesem Beitrag stellen wir die globalen regionenübergreifenden Inferenzprofile vor und rufen sie aus Asia Pacific (Singapore) über die Converse API, die OpenAI-kompatiblen APIs und Coding-Clients auf. Anschließend behandeln wir die Konfiguration von AWS Identity and Access Management (IAM) und Service Control Policies (SCP), das Quotenmanagement und die Überwachung.

Globale regionenübergreifende Inferenzprofile für OpenAI GPT-6

Die GPT-6-Familie bietet drei Modelle, die jeweils über globale regionenübergreifende Inferenz verfügbar sind.

  • GPT-6 Sol bringt starke Denk- und Coding-Fähigkeiten in komplexe Aufgaben, die während der Woche ausgeführt werden.
  • GPT-6 Luna macht fokussierte, wiederholbare Aufgaben in hohem Volumen praktikabel.
  • GPT-6 Astra bewältigt komplexe Denkaufgaben, Coding und Arbeit mit langen Dokumenten.

Alle drei akzeptieren Text- und Bildeingaben, clientseitige Tool-Nutzung und Prompt-Caching. Sie unterscheiden sich beim Reasoning Effort. GPT-6 Sol und GPT-6 Luna akzeptieren none, low, medium, high, xhigh und max. GPT-6 Astra akzeptiert dieselben Stufen mit Ausnahme von none. Zu GPT-6 Sol und GPT-6 Luna siehe Bringen Sie mit GPT-6 Sol und GPT-6 Luna auf Amazon Bedrock mehr Intelligenz in den Arbeitsalltag. Zu GPT-6 Astra siehe Take on your most ambitious work with GPT-6 Astra on Amazon Bedrock.

Die globale regionenübergreifende Inferenz leitet Anfragen über unterstützte kommerzielle AWS-Regionen weiter, in denen das Modell bereitgestellt ist, und gibt Ihnen so breiten Zugriff auf Amazon Bedrock-Kapazität. Sie rufen sie auf, indem Sie anstelle einer Modell-ID eine globale regionenübergreifende Inferenzprofil-ID übergeben. Ihre Quell-Region ist die Region, aus der Sie den API-Aufruf tätigen. Amazon Bedrock wählt die Ziel-Region für die Verarbeitung aus. Abrechnung, Quotenverfolgung, AWS CloudTrail und Amazon CloudWatch bleiben alle in Ihrer Quell-Region.

Die folgende Tabelle listet die globalen regionenübergreifenden Inferenzprofil-IDs und die in diesem Beitrag behandelten Quell-Regionen auf.

Globale regionenübergreifende Inferenzprofile Quell-Regionen Ziel-Regionen

global.openai.gpt-6-sol

global.openai.gpt-6-luna

Asia Pacific (Singapore) ap-southeast-1

Asia Pacific (Jakarta) ap-southeast-3

Asia-Pazifik (Malaysia) ap-southeast-5

Asia-Pazifik (Thailand) ap-southeast-7

Asia-Pazifik (Taipeh) ap-east-2

Unterstützte kommerzielle AWS-Regionen, in denen das Modell bereitgestellt wird
global.openai.gpt-6-astra Asia-Pazifik (Singapur) ap-southeast-1 Unterstützte kommerzielle AWS-Regionen, in denen das Modell bereitgestellt wird

Die Verfügbarkeit von Inferenz-Profilen und die Regionsunterstützung ändern sich, wenn AWS neue Regionen und Profile hinzufügt. Bestätigen Sie daher vor dem Erstellen beides auf der Modellkarte: GPT-6 Sol, GPT-6 Lunaund GPT-6 Astra. Token-spezifische Preise finden Sie unter Amazon Bedrock pricing.

Erste Schritte mit OpenAI-Modellen auf Amazon Bedrock

Beginnen Sie mit den Voraussetzungen und rufen Sie dann eines der drei Profile über die Converse API, die OpenAI-kompatiblen APIs oder Ihren vorhandenen Coding-Client auf.

Voraussetzungen

  1. Eine IAM-Identität mit der Berechtigung zum Aufrufen des Profils. Die IAM-Richtlinie im Abschnitt Security and permissions gewährt nur das, was diese Beispiele benötigen.
  2. Ihre Quell-Region aktiviert. Nur die Region, aus der Sie den Aufruf tätigen, muss aktiviert werden. Ziel-Regionen müssen Sie nicht aktivieren; sie laufen auf von Amazon Bedrock verwalteter Kapazität. Singapur (ap-southeast-1) ist eine Region, die standardmäßig aktiviert ist. Jakarta (ap-southeast-3), Malaysia (ap-southeast-5), Thailand (ap-southeast-7) und Taipeh (ap-east-2) sind Opt-in-Regionen, die Sie zunächst aktivieren müssen. Weitere Informationen finden Sie unter AWS-Regionen in Ihrem Konto aktivieren oder deaktivieren.
  3. Ein aktuelles AWS SDK oder CLI. Die OpenAI-kompatiblen Beispiele erfordern außerdem das OpenAI SDK und den Amazon Bedrock token generator. Installieren Sie sie mit pip install boto3 openai aws-bedrock-token-generator.

Die Amazon Bedrock Konsole listet alle drei globalen Cross-Region-Inferenzprofile unter systemdefinierten Inferenzprofilen auf. Siehe Abbildung 1.

The three global OpenAI GPT-6 inference profiles among the system-defined profiles in the Amazon Bedrock console.

Abbildung 1: Die drei globalen OpenAI GPT-6 Inferenzprofile unter den systemdefinierten Profilen in der Amazon Bedrock Konsole

GPT-6-Modelle über Amazon Bedrock Runtime aufrufen

Jedes Modell unterstützt auf diesem Endpunkt drei Zugriffspfade: die Amazon Bedrock Converse API, die OpenAI Responses API und die OpenAI Chat Completions API. Die OpenAI-kompatiblen APIs werden über die /openai/v1 -Pfade aufgerufen und nicht über die AWS SDKs, und der Endpunkt akzeptiert entweder Signature Version 4 (SigV4) oder einen Amazon Bedrock API key. Übergeben Sie in jedem Fall die ID des globalen Cross-Region-Inferenzprofils als model .

Converse API. Dieses Beispiel ruft GPT-6 Sol aus Asia Pacific (Singapore) auf und protokolliert die Antwort. Setzen Sie BEDROCK_PROFILE_ID auf global.openai.gpt-6-luna oder global.openai.gpt-6-astra , um das Modell zu wechseln, oder rufen Sie converse_stream für Streaming auf.

import logging
import os
import boto3

# AWS_REGION overrides this default, so set it to your source Region or unset it.
REGION = os.environ.get("AWS_REGION", "ap-southeast-1")
PROFILE_ID = os.environ.get("BEDROCK_PROFILE_ID", "global.openai.gpt-6-sol")
PROMPT = (
    "In three bullet points, explain when a workload should use "
    "cross-Region inference instead of calling a model in a single Region."
)

logging.basicConfig(format="%(levelname)s %(message)s")
log = logging.getLogger("bedrock-cris")
log.setLevel(logging.INFO)

client = boto3.client("bedrock-runtime", region_name=REGION)

# AccessDeniedException points at the IAM policy. ValidationException usually
# means the model ID is not a global cross-Region inference profile.
response = client.converse(
    modelId=PROFILE_ID,
    messages=[{"role": "user", "content": [{"text": PROMPT}]}],
    inferenceConfig={"maxTokens": 1024},
    # GPT-6 Sol and Luna accept none through max. GPT-6 Astra rejects none.
    additionalModelRequestFields={"reasoning": {"effort": "low"}},
)

# Any effort above none can prepend a reasoningContent block, so pick the text
# block by key rather than by position.
text = "".join(b["text"] for b in response["output"]["message"]["content"] if "text" in b)

log.info("Called %s from %s", PROFILE_ID, REGION)
log.info("Stop reason: %s", response["stopReason"])
log.info("Response:\n%s", text)

OpenAI Chat Completions API. Richten Sie das OpenAI SDK auf den Regionalen Endpunkt und übergeben Sie dieselbe Profil-ID.

import logging
import os
from aws_bedrock_token_generator import provide_token
from openai import OpenAI

REGION = os.environ.get("AWS_REGION", "ap-southeast-1")
PROFILE_ID = os.environ.get("BEDROCK_PROFILE_ID", "global.openai.gpt-6-sol")
PROMPT = "List three uses for a message queue."

logging.basicConfig(format="%(levelname)s %(message)s")
log = logging.getLogger("bedrock-cris")
log.setLevel(logging.INFO)

# provide_token mints a short-term key from your AWS credentials, valid up to 12 hours.
client = OpenAI(
    base_url=f"https://bedrock-runtime.{REGION}.amazonaws.com/openai/v1",
    api_key=provide_token(region=REGION),
)

response = client.chat.completions.create(
    model=PROFILE_ID,
    messages=[{"role": "user", "content": PROMPT}],
    max_completion_tokens=256,
)

log.info("Called %s from %s", PROFILE_ID, REGION)
log.info("Response:\n%s", response.choices[0].message.content)

Beim Migrieren eines bestehenden OpenAI-Clients:

  • Setzen Sie den Modellparameter bei jeder Anfrage, einschließlich derjenigen, die auf eine vorherige Antwort verweisen.
  • Verwenden Sie unterstützte Tool-Typen: function, mcp, custom, namespaceund tool_search.
  • Konfigurieren Sie die Inferenzprofil-ID direkt in Ihrem Client, statt den Models-Endpunkt abzufragen.

Einrichten der ChatGPT Desktop-App und der Codex CLI

Die ChatGPT Desktop-App und die Codex CLI teilen sich ~/.codex/config.toml, daher deckt eine Änderung beide ab. Von den beiden integrierten Amazon Bedrock Providern akzeptiert nur amazon-bedrock-runtime ein Inferenzprofil.

model = "global.openai.gpt-6-astra"
model_provider = "amazon-bedrock-runtime"
[model_providers.amazon-bedrock-runtime.aws]
region = "ap-southeast-1"

SigV4-Signierung bedeutet, dass es keinen Schlüssel zu rotieren gibt. Fügen Sie profile = "<your-profile>" für ein Nicht-Standard-Profil hinzu und setzen Sie region explizit, da der Client sonst auf AWS_REGIONzurückfällt. Ersetzen Sie eine andere Profil-ID für model , um Modelle zu wechseln.

Codex meldet ein 272,000-Token-Fenster für diese Profile, was eine eigene gebündelte Angabe ist und kein Service-Limit. Erhöhen Sie es mit model_context_window. Diese Konfiguration benötigt Codex CLI 0.148 oder höher.

Abbildung 2 zeigt das Ergebnis in der App.

The ChatGPT desktop app running GPT-6 Astra on Amazon Bedrock.

Abbildung 2: Die ChatGPT-Desktop-App mit GPT-6 Astra auf Amazon Bedrock

Sicherheit und Berechtigungen

Amazon Bedrock bietet eine Reihe von Kontrollen über Inferenz. Zwei davon sind hier relevant. AWS Identity and Access Management (IAM)-Richtlinien steuern, welche Rollen welche Profile aufrufen dürfen, und Service Control Policies (SCPs) wenden organisationsweite Kontrollen an, einschließlich Regionsumfang. Dieser Abschnitt behandelt beide sowie, wo Anfragedaten landen.

IAM-Berechtigungen für globale regionsübergreifende Inferenz

Um eines dieser Modelle über ein globales regionsübergreifendes Inferenzprofil aufzurufen, benötigt Ihre IAM-Richtlinie vier Anweisungen:

  1. Zugriff auf das Inferenzprofil und die project/default-Ressource in Ihrer Quellregion.
  2. Zugriff auf das Foundation-Modell in Ihrer Quellregion, begrenzt auf das Inferenzprofil.
  3. Der regionsagnostische Amazon Resource Name (ARN) für das Foundation-Modell, arn:aws:bedrock:::foundation-model/openai.gpt-6-sol, mit aws:RequestedRegion auf unspecified gesetzt, um regionsübergreifendes Routing zu erlauben.
  4. bedrock:CallWithBearerToken für die API-Key-Authentifizierung.

Diese IAM-Richtlinie gewährt die Berechtigung, GPT-6 Sol über globale regionsübergreifende Inferenz von ap-southeast-1aufzurufen. Ersetzen Sie es durch Ihre AWS-Konto-ID und ap-southeast-1 durch Ihre Quellregion.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "GrantGlobalCrisProfileAndProjectAccess",
      "Effect": "Allow",
      "Action": ["bedrock:InvokeModel"],
      "Resource": [
        "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol",
        "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:project/default"
      ],
      "Condition": {
        "StringEquals": { "aws:RequestedRegion": "ap-southeast-1" }
      }
    },
    {
      "Sid": "GrantGlobalCrisInRegionModelAccess",
      "Effect": "Allow",
      "Action": ["bedrock:InvokeModel"],
      "Resource": ["arn:aws:bedrock:ap-southeast-1::foundation-model/openai.gpt-6-sol"],
      "Condition": {
        "StringEquals": {
          "aws:RequestedRegion": "ap-southeast-1",
          "bedrock:InferenceProfileArn": "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol"
        }
      }
    },
    {
      "Sid": "GrantGlobalCrisGlobalModelAccess",
      "Effect": "Allow",
      "Action": ["bedrock:InvokeModel"],
      "Resource": ["arn:aws:bedrock:::foundation-model/openai.gpt-6-sol"],
      "Condition": {
        "StringEquals": {
          "aws:RequestedRegion": "unspecified",
          "bedrock:InferenceProfileArn": "arn:aws:bedrock:ap-southeast-1:<ACCOUNT>:inference-profile/global.openai.gpt-6-sol"
        }
      }
    },
    {
      "Sid": "AllowBearerTokenAuth",
      "Effect": "Allow",
      "Action": ["bedrock:CallWithBearerToken"],
      "Resource": "*"
    }
  ]
}

Wenn Sie Streaming verwenden (converse_stream oder stream=True), fügen Sie bedrock:InvokeModelWithResponseStream zur Action in den ersten drei Anweisungen hinzu. Converse wird als bedrock:InvokeModelautorisiert. Wenn Sie Converse nur mit SigV4-Anmeldedaten aufrufen, lassen Sie die vierte Anweisung weg.

Um das Modell zu wechseln, ersetzen Sie openai.gpt-6-sol durch openai.gpt-6-luna oder openai.gpt-6-astra im gesamten Text. Die vollständige Referenz finden Sie unter IAM-Richtlinienanforderungen für globale regionsübergreifende Inferenz.

Überlegungen zu Service Control Policies für globale regionsübergreifende Inferenz

Eine globale regionsübergreifende Inferenzanfrage enthält keinen Regionsnamen. Amazon Bedrock setzt aws:RequestedRegion auf unspecified, sodass eine Regions-Allowlist in einer SCP den Aufruf ablehnt, und die Fehlermeldung nennt nur den Richtlinientyp, nicht welche Richtlinie. Das ist ein häufiger Grund, warum ein erster Aufruf in einem Enterprise-Konto fehlschlägt.

Anstatt die Allowlist zu erweitern, grenzen Sie die Ausnahme ein. Amazon Bedrock füllt die bedrock:InferenceProfileArn …condition key während der Autorisierung, sodass eine SCP diese Profile erlauben kann und gleichzeitig Region-Steuerung für alles andere beibehalten wird. Die folgende SCP tut genau das.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DenyOutsideApprovedRegionsExceptBedrockInvoke",
      "Effect": "Deny",
      "NotAction": [
        "iam:*", "sts:*", "organizations:*", "account:*",
        "route53:*", "cloudfront:*", "waf:*", "wafv2:*", "shield:*",
        "support:*", "trustedadvisor:*", "health:*",
        "budgets:*", "ce:*", "cur:*", "tax:*", "billing:*",
        "bedrock:Invoke*"
      ],
      "Resource": "*",
      "Condition": {
        "StringNotEquals": { "aws:RequestedRegion": ["ap-southeast-1"] }
      }
    },
    {
      "Sid": "DenyBedrockInferenceOutsideApprovedRegionsUnlessCris",
      "Effect": "Deny",
      "Action": ["bedrock:Invoke*"],
      "Resource": "*",
      "Condition": {
        "StringNotEquals": { "aws:RequestedRegion": ["ap-southeast-1"] },
        "ArnNotLike": {
          "bedrock:InferenceProfileArn": [
            "arn:aws:bedrock:*:*:inference-profile/global.*"
          ]
        }
      }
    }
  ]
}

Die erste Anweisung erzwingt Ihre Regions-Positivliste für jeden Dienst außer Amazon Bedrock-Inferenz. Die zweite verweigert diese Inferenz außerhalb dieser Regions, sofern sie nicht über ein globales regionsübergreifendes Inferenzprofil geleitet wird. Fügen Sie bei geografischen Profilen deren Präfix hinzu (zum Beispiel inference-profile/us.*) zur ArnNotLike Liste, da geografische Anfragen einen echten Region-Namen enthalten. Behalten Sie Ihre Quell-Region in der Allowlist bei und fügen Sie die globalen Dienste, die Ihre Organisation nutzt, zu NotAction.

Eine grobere Alternative ist es, unspecified zu Ihrer bestehenden Allowlist hinzuzufügen, was funktioniert, aber dieselbe Ausnahme für jeden anderen Dienst öffnet. Für eine einsatzbereite Richtliniendatei siehe das aws-samples service-control-policy-examples repository.

Datenspeicherung und Missbrauchserkennung

Für die automatisierte Offline-Missbrauchserkennung wird vom Klassifizierer markierter Traffic von AWS bis zu 30 Tage aufbewahrt und programmatisch verarbeitet. Bei Cross-Region-Inference erfolgt diese Aufbewahrung in der Ziel-Region, was bei einem globalen Profil jede unterstützte kommerzielle AWS-Region ist, in der das Modell bereitgestellt ist. Berechtigte Kunden können über ihr AWS-Account-Team eine vollständige Zero-Data-Retention anfordern. Weitere Informationen finden Sie unter Amazon Bedrock abuse detection und Data retention.

Wenn Ihre Organisation Anforderungen an die Datenspeicherung (Data Residency) hat, bringen Sie dies frühzeitig zu Ihrem Risiko- und Compliance-Team. Sehen Sie sich die AWS Financial Services Compliance Center Länderseiten für diese fünf Länder an. Wir empfehlen Ihnen, Ihren eigenen Rat zur Einhaltung der für Ihr Unternehmen relevanten Anforderungen einzuholen.

Kontingentverwaltung

GPT-6-Kontingente auf bedrock-runtime werden in Tokens pro Minute (TPM) gemessen und gegen die Quell-Region verrechnet, aus der Sie aufrufen. Eingabe- und Cache-Schreib-Tokens zählen 1:1, und jedes Ausgabe-Token verbraucht 10 Tokens Kontingent. Beispielsweise erschöpft eine Anfrage mit 2,000 Eingabe-Tokens und 1,000 Ausgabe-Tokens 12,000 Tokens Ihres Kontingents.

Amazon Bedrock reserviert das vollständige max_tokens im Voraus, also setzen Sie es nahe an die erwarteten Completions. Ein Kontingent deckt InvokeModel, Converse, Responses und Chat Completions ab. Überprüfen und erhöhen Sie es in der Service Quotas console aus Ihrer Quell-Region. Fordern Sie vor der Produktion Erhöhungen frühzeitig an und alarmieren Sie bei EstimatedTPMQuotaUsage im AWS/Bedrock Namespace bei 70–80 Prozent Ihrer Zuteilung. Siehe How tokens are counted in Amazon Bedrock und Amazon Bedrock endpoints and quotas für aktuelle Werte.

Überwachung und Protokollierung

Ihre operative Oberfläche bleibt in Ihrer Quell-Region. Amazon CloudWatch-Metriken, AWS CloudTrail-Ereignisse, Modellaufruf-Protokolle, Kontingentabrechnung und Abrechnung bleiben alle in der Region, aus der Sie den Aufruf getätigt haben. Sie zahlen die Sätze dieser Region, nicht die der verarbeitenden Region.

CloudTrail zeichnet auf, wo jede Anfrage verarbeitet wurde. AWS dokumentiert die Ziele eines globalen regionsübergreifenden Inferenzprofils als dessen kommerzielle Regionen, anstatt sie einzeln aufzulisten. GetInferenceProfile gibt die regionsagnostischen und Quellregions-Modell-ARNs zurück und nicht eine Liste der Zielregionen. Ihr Eintrag pro Anfrage ist additionalEventData.inferenceRegion in CloudTrail in Ihrer Quellregion. Inferenz auf diesem Endpunkt ist ein Verwaltungsereignis, das standardmäßig ohne zusätzliche Kosten protokolliert wird. Der CloudTrail-Ereignisverlauf speichert 90 Tage, daher benötigen Sie für längere Zeiträume einen Trail oder eine Modellaufruf-Protokollierung. Rufen Sie die CloudTrail-Ereignisse mit diesem Befehl ab.

aws cloudtrail lookup-events \
  --region ap-southeast-1 \
  --lookup-attributes AttributeKey=EventSource,AttributeValue=bedrock.amazonaws.com \
  --start-time <START> \
  --end-time <END> \
  --max-results 1 \
  --query 'Events[0].CloudTrailEvent' --output text | python3 -m json.tool

Setzen Sie das Zeitfenster um einen soeben getätigten Aufruf, da die CloudTrail-Zustellung einige Minuten nachhinkt. Wenn das jüngste Ereignis ein fehlgeschlagener Aufruf war, enthält es ein errorCode und kein inferenceRegion. Erhöhen Sie --max-results und wählen Sie ein Ereignis ohne errorCode.

{
  "eventName": "Converse",
  "eventSource": "bedrock.amazonaws.com",
  "awsRegion": "ap-southeast-1",
  "managementEvent": true,
  "requestParameters": {
    "modelId": "global.openai.gpt-6-sol",
    "inferenceConfig": { "maxTokens": 1024 }
  },
  "additionalEventData": {
    "inferenceRegion": "us-east-1"
  }
}

Metriken und die Nutzung von Coding-Agents bleiben in CloudWatch. Wo Entwickler über einen Coding-Agent auf GPT-6 zugreifen, fügt CloudWatch Coding Agent Insights fertige Dashboards unter GenAI Observability hinzu, die die Token-Nutzung nach Benutzer, Team und Kostenstelle aufschlüsseln. Die Agents geben OpenTelemetry-Metriken nativ aus. Für Codex siehe Set up OpenTelemetry for OpenAI Codex.

Aufräumen

Dieser Beitrag fügt eine IAM-Richtlinie und optional eine SCP-Anweisung sowie ein Logging-Ziel hinzu. Trennen oder löschen Sie die angehängte IAM-Richtlinie und machen Sie den SCP-Eintrag rückgängig, falls Sie einen hinzugefügt haben. Löschen Sie das Modellaufruf-Logging-Ziel in Amazon Simple Storage Service (Amazon S3) oder Amazon CloudWatch Logs, falls Sie eines erstellt haben, um Speicherkosten zu vermeiden. Die globalen regionsübergreifenden Inferenzprofile sind systemdefiniert, daher gibt es nichts zu löschen.

Fazit

Dieser Beitrag zeigte, wie man GPT-6 Sol und GPT-6 Luna aus fünf Asia-Pacific-Quellregionen sowie GPT-6 Astra aus Asia Pacific (Singapore) über globale regionsübergreifende Inferenz auf bedrock-runtimeGeben Sie eine globale regionsübergreifende Inferenz-Profil-ID als die model Parameter und konfigurieren Sie die IAM-Richtlinie und die SCP-Ausnahme aus diesem Beitrag. Derselbe Endpunkt dient auch den OpenAI-kompatiblen APIs, sodass eine bestehende OpenAI-Integration durch das Ändern einer Basis-URL und eines Schlüssels übertragen werden kann.

Um loszulegen, hängen Sie die IAM-Richtlinie aus diesem Beitrag an und senden Sie eine erste Anfrage durch global.openai.gpt-6-sol. Bemessen Sie Ihr Tokens-pro-Minute-Kontingent anhand der 10x-Abbrandrate und bestätigen Sie in CloudTrail, dass additionalEventData.inferenceRegion auf Ihren Anrufen angezeigt wird.

Weitere Informationen finden Sie unter Amazon Bedrock Benutzerhandbuch, Leiten Sie Modellinferenzanfragen regionsübergreifend über AWS-Regionen mit Cross-Region-Inferenz, und Amazon Bedrock Preise.

 


Über die Autoren

Originalquelle

AWS Machine Learning

Hinweise zum Inhalt

Originalveröffentlichung und Rechte liegen bei der Quelle.

Maschinelle Übersetzung · Original beachten