TwelveLabs의 Pegasus 1.5가 Amazon Bedrock에서 정식 출시되었습니다

2026년 10월 9일, 우리는 출시 소식을 발표했습니다: Amazon Bedrock에서 제공되는 TwelveLabs의 Pegasus 1.5. Pegasus 1.5는 장편 비디오를 타임스탬프가 있는 구조화된 메타데이터로 변환하는 비디오 언어 모델입니다. 워크플로우에 중요한 순간을 설명하면 모델이 일치하는 모든 세그먼트를 JSON으로 반환합니다.

비디오는 방대하고 복잡한 비정형 데이터 범주이지만, 그 대부분은 여전히 검색할 수 없고 충분히 활용되지 못하고 있습니다. 이러한 콘텐츠에서 구조화되고 실행 가능한 인사이트를 추출하는 일은 지금까지 노동 집약적인 수동 검토나 파편화된 툴체인을 필요로 했습니다.

이전 버전의 Pegasus에서는 모델에 클립을 지정하고 질문을 하면 답변을 받을 수 있었습니다. 이제 Pegasus 1.5는 비디오 전체를 분석하여 사용자가 정의한 기준에 일치하는 모든 세그먼트를 찾아내고 구조화된 타임스탬프 메타데이터를 반환합니다. 또한 비디오 세그멘테이션, 참조 이미지를 활용한 멀티모달 프롬프팅, 실시간(on-the-fly) 처리 기능이 새롭게 도입되었습니다.

Amazon Bedrock의 Pegasus 1.5를 사용하면 Amazon Simple Storage Service(Amazon S3) URI 또는 base64 문자열에서 사전 인덱싱 없이 직접 비디오를 분석할 수 있으며, 데이터는 AWS 데이터 경계 내에 유지됩니다.

이 게시물에서는 Pegasus 1.5의 새로운 기능, Amazon Bedrock에서 모델이 패키징되는 방식, 첫 번째 요청을 보내는 방법을 다룹니다. 이어서 비디오 세그멘테이션, 구조화된 JSON 출력, 멀티모달 프롬프팅을 단계별로 살펴봅니다.

Pegasus 1.5의 새로운 기능

Pegasus 1.5는 이전 버전에 비해 다음과 같은 변경 사항이 있습니다:

• 시간 기반 메타데이터 생성. 편집 세그먼트, 스포츠 플레이, 화자 변경, 브랜드 등장과 같이 워크플로우에 중요한 세그먼트, 이벤트 또는 도메인 특화 단서를 직접 정의합니다. Pegasus 1.5는 시작 및 종료 시간과 요청된 필드가 채워진 상태로 일치하는 모든 세그먼트를 JSON으로 반환합니다.
• 멀티모달 프롬프팅. 세그먼트 정의는 텍스트 설명과 시각적 참조를 결합할 수 있습니다. 이를 통해 특정 제품, 로고 또는 인물과 그들이 화면에서 하고 있는 행동을 함께 찾아낼 수 있습니다.
• 실시간(on-the-fly) 처리. 수집 파이프라인이나 사전 인덱싱 단계가 필요하지 않습니다. 비디오는 Amazon S3에서 직접 전송되며 결과는 응답으로 반환됩니다.
• 확장된 처리 용량. Pegasus 1.5는 Pegasus 1.2의 1시간에서 늘어나 최대 2시간 길이의 비디오를 단일 요청으로 분석할 수 있습니다.

Pegasus 1.5는 Pegasus 1.2를 강력한 비디오 이해 도구로 만든 핵심 기능을 유지하고 강화합니다. 주요 기능은 다음과 같습니다:

• 비디오-텍스트 생성: 비디오 콘텐츠를 기반으로 상세한 텍스트 설명을 생성합니다.
• 세밀한 시각 이해: 비디오 프레임 내의 객체, 화면 텍스트, 숫자 콘텐츠를 분석합니다.
• 시간적 그라운딩: 비디오 내 특정 이벤트의 타임스탬프를 정확하게 식별합니다.
• 멀티모달 이해: 시각, 오디오, 텍스트 정보를 결합하여 포괄적인 분석을 수행합니다.
• 다국어 지원: 영어를 완전히 지원하며, 아랍어, 중국어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 스페인어, 태국어, 베트남어를 부분적으로 지원합니다.

Amazon Bedrock에서 Pegasus 1.5가 작동하는 방식

Pegasus 1.5는 비디오와 텍스트 프롬프트 또는 세그먼트 정의 세트를 입력으로 받아 텍스트 또는 JSON을 반환합니다. 이를 호출하려면 bedrock-runtime 엔드포인트에서 InvokeModel API를 사용하거나, 응답이 생성되는 대로 스트리밍되기를 원할 때는 InvokeModelWithResponseStream 을 사용합니다.

각 요청은 두 가지 분석 모드 중 하나로 실행되며, 다음 analysisMode 필드로 선택합니다:

모델이 비디오를 가리키는 방법은 두 가지입니다. S3 위치(s3Location)는 객체의 uri 및 bucketOwner 계정 ID를 사용하며 긴 형태의 비디오에 적합합니다. base64 문자열(base64String)은 요청 본문에 비디오를 최대 25 MB까지 포함하며 짧은 클립에 적합합니다.

애플리케이션별 비용을 추적하려면 Pegasus 1.5 모델에서 애플리케이션 추론 프로파일을 생성하고, 태그를 지정한 후, 모델 ID 대신 해당 Amazon Resource Name(ARN)으로 호출하십시오.

Pegasus 1.5 시작하기

다음 섹션에서는 Pegasus 1.5를 시작하는 방법을 설명합니다.

사전 요구 사항

시작하기 전에 다음을 갖추고 있는지 확인하십시오:

1. Amazon Bedrock 액세스 권한이 있는 활성 AWS 계정.
2. Python 3.10 이상, AWS SDK for Python(Boto3) 설치됨.
3. 다음에 대한 AWS Identity and Access Management(IAM) 권한: bedrock:InvokeModel 및 bedrock:InvokeModelWithResponseStream.
4. 에서 TwelveLabs Pegasus 1.5에 대한 모델 액세스 활성화 Amazon Bedrock 콘솔.
5. Amazon S3 버킷에 저장된 비디오, 또는 인라인으로 보낼 수 있는 짧은 클립.

다음 정책은 Pegasus 1.5에 대한 invoke 작업을 모두 부여합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/twelvelabs.pegasus-1-5-v1:0"
            ]
        }
    ]
}

Boto3는 평소 사용하는 AWS 자격 증명으로 요청에 서명합니다. 또한 Amazon Bedrock API 키를 다음 위치에 설정하여 인증할 수 있습니다. AWS_BEARER_TOKEN_BEDROCK environment 변수. 프로덕션 환경에서는 IAM 자격 증명으로 생성한 단기 키를 사용하는 것이 좋습니다. aws-bedrock-token-generator 패키지는 자동으로 만료되기 때문입니다. Bearer 토큰 인증 역시 다음을 필요로 합니다. bedrock:CallWithBearerToken 권한.

첫 번째 요청 보내기

Boto3를 설치하세요:

pip install boto3

다음 예제는 Amazon S3에 저장된 비디오를 일반 모드로 분석합니다. 이 예제는 전역 Cross Region Inference(CRIS) 엔드포인트를 사용합니다. 대신 US 지리적 엔드포인트를 대상으로 하려면 엔드포인트 URL에서 “global.”을 “us.”로 바꾸십시오.

import boto3
import json
from botocore.config import Config

AWS_REGION = "us-west-2"
MODEL_ID = "global.twelvelabs.pegasus-1-5-v1:0"

bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name=AWS_REGION,
    config=Config(
        # keep a longer read_timeout for lengthier invocations such as video segmentation
        read_timeout=900,
        retries={"max_attempts": 0},
        connect_timeout=10,
    ),
)

# Analyze a video stored in Amazon S3
payload = {
    "inputPrompt": "Summarize this video and identify the key topics discussed.",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://amzn-s3-demo-pegasus-15/your-video.mp4",
            "bucketOwner": "your-account-id"
        }
    },
    "temperature": 0.2,
    "maxOutputTokens": 4096,
    "includeMetering": True
}

response = bedrock_runtime.invoke_model(
    modelId=MODEL_ID,
    body=json.dumps(payload)
)
result = json.loads(response["body"].read())
print(result["message"])

응답은 다음에 답을 담고 있습니다: message, 다음에 나오는 토큰 수는 input_tokens 그리고 output_tokens, 그리고 생성이 끝난 이유는 stopReason. A stopReason 의 length 답이 도달했다는 뜻입니다 maxOutputTokens 출력이 완료되기 전일 수 있으므로, 결과에 의존하기 전에 확인하십시오:

if result["stopReason"] == "length":
    print("The answer was cut off. Raise maxOutputTokens and try again.")
print("Tokens in:", result["input_tokens"], "out:", result["output_tokens"])

일반 모드의 요청 필드:

짧은 클립의 경우 S3에서 가져오는 대신 인라인으로 동영상을 보낼 수 있습니다:

import base64

with open("your-video.mp4", "rb") as f:
    video_b64 = base64.b64encode(f.read()).decode("utf-8")

payload["mediaSource"] = {"base64String": video_b64}
response = bedrock_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps(payload))
print(json.loads(response["body"].read())["message"])

참고로 앞의 예제는 선택적인 includeMetering 속성. includeMetering: True Pegasus 1.5는 비스트리밍 응답에 두 개의 청구 사용량 필드를 추가합니다: outputTokenCount 그리고 inputVideoSecond (분석된 영상의 길이, 단위는 초입니다.)

응답 스트리밍하기

대화형 애플리케이션의 경우, InvokeModelWithResponseStream 답변이 생성되는 대로 청크 단위로 반환합니다. 각 청크에는 다음 텍스트 조각이 담겨 있습니다. message:

response = bedrock_runtime.invoke_model_with_response_stream(
    modelId=MODEL_ID,
    body=json.dumps(payload)
)
for event in response["body"]:
    chunk = json.loads(event["chunk"]["bytes"])
    print(chunk.get("message", ""), end="", flush=True)
print()

구조화된 JSON을 반환하십시오

일반 모드에서는 답변을 JSON Schema로 제한하여 다운스트림 코드가 이를 직접 파싱할 수 있도록 할 수 있습니다. 설정 responseFormat.type 까지 json_schema 그리고 스키마를 그 아래에 넣습니다 jsonSchema. 답은 다음에서 도착한다: message JSON 문자열로:

payload = {
    "inputPrompt": "Analyze this video and return a structured summary.",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://amzn-s3-demo-pegasus-15/your-video.mp4",
            "bucketOwner": "your-account-id"
        }
    },
    "temperature": 0,
    "maxOutputTokens": 2048,
    "includeMetering": True,
    "responseFormat": {
        "type": "json_schema",
        "jsonSchema": {
            "type": "object",
            "properties": {
                "summary": {"type": "string"},
                "key_scenes": {"type": "array", "items": {"type": "string"}},
                "setting": {"type": "string"}
            },
            "required": ["summary", "key_scenes", "setting"]
        }
    }
}
response = bedrock_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps(payload))
summary = json.loads(json.loads(response["body"].read())["message"])
print(summary["summary"])
for scene in summary["key_scenes"]:
    print(" -", scene)

비디오 세그먼테이션: 비디오를 구조화된 데이터로 변환하기

시간 기반 메타데이터 생성은 Pegasus 1.5가 이전 버전과 가장 크게 다른 부분입니다. 프롬프트 대신 하나 이상의 세그먼트 정의를 보내면, 모델이 각 정의에 해당하는 비디오의 모든 세그먼트를 반환합니다.

설정 analysisMode ~까지 time_based_metadata 그리고 responseFormat.type 부터 segment_definitions. 이 정의들은 ~을 대신한다 inputPrompt", therefore omit that field. Each definition includes: ", 따라서 해당 필드는 생략하십시오. 각 정의에는 다음이 포함됩니다.

• id: 정의에 대한 이름으로, 일치하는 모든 세그먼트에서 반환됩니다.
• description: 일치하는 세그먼트가 어떤 모습인지 보여주는 예시입니다.
• fields: 각 세그먼트별로 추출할 값으로, 각각의 name, 이는 type (string, boolean, number, integer, array, 또는 timestamp) 및 description.

다음 예제는 뉴스 방송에서 각 편집 섹션을 식별하고 각 섹션의 제목, 요약 및 핵심 주제를 반환합니다:

payload = {
    "analysisMode": "time_based_metadata",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://amzn-s3-demo-pegasus-15/news-broadcast.mp4",
            "bucketOwner": "your-account-id"
        }
    },
    "responseFormat": {
        "type": "segment_definitions",
        "segmentTimeFormat": "hh:mm:ss",
        "segmentDefinitions": [
            {
                "id": "editorial_section",
                "description": "A distinct editorial section of the broadcast, "
                "such as a new story, topic, or segment of the program.",
                "fields": [
                    {"name": "segment_title", "type": "string",
                     "description": "A descriptive title"},
                    {"name": "summary", "type": "string",
                     "description": "A brief summary of the segment content"},
                    {"name": "key_topics", "type": "array", "items": {"type": "string"},
                     "description": "Main topics discussed"}
                ]
            }
        ]
    },
    "temperature": 0,
    "maxOutputTokens": 32768,
    "includeMetering": True
}
response = bedrock_runtime.invoke_model(
    modelId=MODEL_ID,
    contentType="application/json",
    accept="application/json",
    body=json.dumps(payload)
)
result = json.loads(response["body"].read())
for segment in result["segments"]:
    print(segment["start_sec"], "-", segment["end_sec"], segment["segment_title"])
    print(" ", segment["summary"])
    print(" topics:", ", ".join(segment["key_topics"]))

이전 샘플 코드를 스포츠 클립으로 테스트하면 다음 샘플과 같은 출력이 생성될 수 있습니다.

{
    "segments": [
        {
            "start_sec": "00:04:24",
            "end_sec": "00:05:22",
            "segment_title": "Substitutions and Added Time",
            "summary": "The referee announces three minutes of added time, and both teams make substitutions in preparation for a potential penalty shootout.",
            "key_topics": ["Substitutions", "Added time", "Penalty shootout preparation", "Tactical changes"]
        },
        {
            "start_sec": "00:05:22",
            "end_sec": "00:08:57",
            "segment_title": "Last Gasp Attempts and Final Whistle",
            "summary": "The final minutes of the match see intense action from both sides, with several close calls before the referee blows the final whistle, ending the game in a 3-3 draw.",
            "key_topics": ["Final whistle", "Draw"]
        },
        {
            "start_sec": "00:08:57",
            "end_sec": "00:09:29",
            "segment_title": "Match Conclusion and Penalty Shootout Setup",
            "summary": "The match concludes with a 3-3 draw, leading to a penalty shootout. Players from both teams shake hands and prepare for the decisive moments.",
            "key_topics": ["Match conclusion", "Penalty shootout", "Player handshakes", "Final"]
        }
    ],
    "definition_errors": [],
    "input_tokens": 249408,
    "output_tokens": 802,
    "stopReason": "stop",
    "finish_reason": "stop"
}

각 세그먼트는 다음을 전달합니다. start_sec, end_sec, 그리고 그 fields 당신이 정의한. segmentTimeFormat 시간이 어떻게 표시되는지 제어합니다: seconds 산술 연산을 할 수 있는 숫자를 반환하는 반면, hh:mm:ss 그리고 hh:mm:ss.fff 읽을 수 있는 타임스탬프를 문자열로 반환합니다. 응답에는 또한 definition_errors 모든 정의가 처리되면 비어 있게 되는 목록입니다.

하나의 요청에 여러 개의 세그먼트 정의를 포함할 수 있습니다. 예를 들어 하나는 편집 섹션용이고 다른 하나는 화면상 브랜드 등장용입니다. Pegasus 1.5는 모든 정의에 대한 매치를 하나의 segments 목록으로 반환하고 각 세그먼트에 _definition_id 태그를 붙여 서로 구별할 수 있게 해줍니다. 다음 예제는 이전 요청에 두 번째 정의를 추가하고 결과를 그룹화합니다:

from collections import defaultdict

payload["responseFormat"]["segmentDefinitions"].append({
    "id": "brand_appearance",
    "description": "A shot where a company logo or branded product "
    "is clearly visible on screen.",
    "fields": [
        {"name": "brand", "type": "string", "description": "The brand shown"},
        {"name": "is_prominent", "type": "boolean",
         "description": "Whether the brand is the main focus of the shot"}
    ]
})
response = bedrock_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps(payload))
result = json.loads(response["body"].read())
by_definition = defaultdict(list)
for segment in result["segments"]:
    by_definition[segment["_definition_id"]].append(segment)
for definition_id, segments in by_definition.items():
    print(definition_id, len(segments), "segments")

스키마가 한 번 정의되기 때문에 동일한 정의를 전체 비디오 라이브러리에 걸쳐 적용할 수 있으며, 모든 에셋에 대해 일관된 메타데이터를 생성합니다.

멀티모달 프롬프팅: 쿼리에 시각적 컨텍스트 추가하기

Pegasus 1.5는 멀티모달 프롬프팅을 도입하여 텍스트 프롬프트와 함께 참조 이미지를 포함할 수 있습니다. 이는 설명하는 것보다 보여주는 것이 더 쉬운 특정 객체, 인물 또는 장면에 대해 모델에게 질문하려는 경우 유용합니다.

예를 들어 제품 이미지를 제공하고 해당 제품이 비디오에 등장하는 모든 순간을 식별하도록 모델에 요청할 수 있습니다. 또는 특정 로고의 참조 이미지를 제공하고 브랜드 등장과 그 타임스탬프를 감지하도록 모델에 요청할 수 있습니다. 이 기능은 비디오 분석의 정밀도를 향상시키며, 시각적 브랜드 모니터링, 제품 배치 분석, 이미지 기반 콘텐츠 검색과 같은 사용 사례를 열어줍니다.

참조 이미지는 모드에 따라 다르게 첨부됩니다. 일반(general) 모드에서는 이미지를 promptV2.mediaSources, 와 질문을 함께 promptV2.inputText. 세그먼트 모드(analysisMode: time_based_metadata)에서는 이들을 mediaSources 내부의 각 세그먼트 정의에 연결합니다. 이제 정의는 텍스트 설명뿐 아니라 시각적 참조도 매칭할 수 있습니다. 각 이미지에는 responseFormat.segmentDefinitions와 name가 media_type 인 image, 그리고 정확히 하나의 소스, 즉 인라인 base64String 또는 s3Location 및 uri 을 포함하는 bucketOwner가 필요합니다. 하나의 요청에는 최대 30개의 참조 이미지를 포함할 수 있습니다.

일반 모드 요청은 참조 이미지에 표시된 객체에 대해 모델에 질의합니다. 다음 샘플 페이로드와 응답은 일반 모드의 예를 보여줍니다.

payload = {
    "analysisMode": "general",
    "mediaSource": {"s3Location": {"uri": "s3://...", "bucketOwner": "..."}},
    "promptV2": {
        "inputText": "Does the object in the reference image appear in this video?",
        "mediaSources": [
            {"name": "ref1", "media_type": "image", "base64String": "..."}
        ]
    }
    …
}

{
    "input_tokens": 144,
    "output_tokens": 11,
    "message": "Yes, the green canoe appears in the video.",
    "stopReason": "stop"
}

세그먼트 모드에서는 참조 이미지가 정의 내부에 있으므로, Pegasus는 해당 제품이 등장하는 세그먼트만 반환합니다. 다음 샘플 페이로드와 응답은 세그먼트 모드의 예를 보여줍니다.

payload = {
    "analysisMode": "time_based_metadata",
    "mediaSource": {"s3Location": {"uri": "s3://...", "bucketOwner": "..."}},
    "responseFormat": {
        "type": "segment_definitions",
        "segmentTimeFormat": "hh:mm:ss",
        "segmentDefinitions": [
            {
                "id": "product_appearance",
                "description": "A shot showing the product in the reference image",
                "fields": [
                    {"name": "what", "type": "string", "description": "what is on screen"}
                ],
                "mediaSources": [
                    {"name": "ref1", "media_type": "image",
                     "s3Location": {"uri": "s3://...", "bucketOwner": "..."}}
                ]
            }
        ]
    }
}

{
    "segments": [
        {"start_sec": "00:00:00", "end_sec": "00:00:02",
         "what": "A family of four in a green canoe, paddling on a calm river surrounded by towering red rock formations."},
        {"start_sec": "00:00:09", "end_sec": "00:00:10",
         "what": "The family back in the canoe, paddling away from the shore, with the children smiling and enjoying the serene surroundings."}
    ],
    "definition_errors": [],
    "input_tokens": 4498,
    "output_tokens": 292,
    "stopReason": "stop",
    "finish_reason": "stop"
}

사용량 모니터링

Pegasus 1.5는 Amazon CloudWatch 지표를 모델 ID 아래의 AWS/Bedrock 네임스페이스에 게시하며, 여기에는 Invocations, OutputTokenCount, InvocationLatency, InvocationClientErrors등이 포함됩니다. 이를 사용하여 볼륨과 지연 시간을 추적하세요. 애플리케이션별 사용량을 분리해야 할 때는 애플리케이션 추론 프로파일과 함께 사용하십시오.

사용 사례

Pegasus 1.5는 대량의 롱폼 비디오를 관리하는 조직을 위해 설계되었습니다:

• 뉴스 및 방송 아카이브: 팀은 편집 세그먼트, 주제, 화자 변경을 한 번 정의한 후, 이전에는 전사 텍스트 키워드로만 검색 가능했던 수년치 영상을 카탈로그화할 수 있습니다.
• 스포츠 방송사 및 리그: 풀 경기 영상 전체에서 플레이, 득점 이벤트 및 기타 주요 순간을 감지하여 하이라이트 제작 속도를 높입니다.
• 스트리밍 애플리케이션: 장면 수준 메타데이터는 순간 기반 추천, 문맥 기반 광고 배치, 세그먼트 수준의 브랜드 안전 검토를 지원합니다.

어떤 경우에도 사람은 워크플로우의 일부로 남습니다. 그들의 작업은 모든 순간을 수작업으로 찾아 태그하는 것에서 모델이 생성한 메타데이터를 검토하고 다듬는 것으로 전환됩니다.

입력 요구 사항

Pegasus 1.5는 다음 비디오 사양을 지원합니다:

• 길이: 최대 2시간.
• 파일 크기: Amazon S3의 경우 최대 2 GB, base64 문자열의 경우 최대 25 MB.
• 해상도: 360×360에서 5184×2160까지.
• 가로세로 비율: 1:1에서 2.4:1 사이 또는 그 역수.
• 형식: FFmpeg가 지원하는 형식.

이제 사용 가능

TwelveLabs Pegasus 1.5가 오늘부터 미국 서부(오레곤) AWS 리전의 Amazon Bedrock에서 사용할 수 있습니다. 향후 업데이트는 전체 리전 목록 을 확인하시고, 가격 정보는 Amazon Bedrock 가격 페이지 를 방문하세요. Pegasus 1.5는 AWS Marketplace를 통해 청구되므로 요금은 Amazon Bedrock이 아닌 TwelveLabs 항목으로 AWS 청구서와 AWS Cost Explorer에 표시됩니다.

시작하려면:

• 모델 패밀리에 대해 자세히 알아보려면 Amazon Bedrock의 TwelveLabs 모델 페이지 를 방문하세요.
• 기능 지원, 리전 가용성 및 샘플 코드는 Pegasus 1.5 모델 카드 를 참조하세요.
• 피드백은 AWS re:Post for Amazon Bedrock 또는 평소 이용하시는 AWS Support 담당자를 통해 보내주세요.

여러분이 Amazon Bedrock에서 TwelveLabs Pegasus 1.5로 무엇을 만들지 기대됩니다.

저자 소개