Pegasus 1.5 من TwelveLabs متاح الآن في Amazon Bedrock

في 9 أكتوبر 2026 أعلنا عن توفّر Pegasus 1.5 من TwelveLabs على Amazon Bedrock. Pegasus 1.5 هو نموذج لغة مرئي يحوّل مقاطع الفيديو الطويلة إلى بيانات وصفية منظمة ومختومة بطوابع زمنية. تصف اللحظات المهمة لسير عملك، ويعيد النموذج كل مقطع مطابق بصيغة JSON.

يمثل الفيديو فئة معقدة وضخمة من البيانات غير المهيكلة، ومع ذلك يظل معظمها غير قابل للبحث ومستغلًا بشكل ناقص. وكان استخراج رؤى منظمة وقابلة للتنفيذ من هذا المحتوى يتطلب تاريخيًا مراجعة يدوية شاقة للعمل أو سلاسل أدوات مجزأة.

مع الإصدارات السابقة من Pegasus، يمكنك توجيه النموذج إلى مقطع، وطرح سؤال، والحصول على إجابة. أما الآن، فيحلّل Pegasus 1.5 الفيديو بأكمله، ويجد كل مقطع يطابق المعايير المحددة من المستخدم، ويعيد بيانات وصفية منظمة ومختومة بطوابع زمنية. كما يقدّم تقسيم الفيديو، والتوجيه متعدد الوسائط مع الصور المرجعية، والمعالجة الفورية.

مع Pegasus 1.5 على Amazon Bedrock، يمكنك تحليل مقاطع الفيديو مباشرة من عنوان URI الخاص بخدمة Amazon Simple Storage Service (Amazon S3) أو من سلسلة base64 دون الحاجة إلى فهرسة مسبقة، وتبقى بياناتك داخل حدود بيانات AWS.

في هذه المقالة، نستعرض الجديد في Pegasus 1.5، وكيفية تغليف النموذج على Amazon Bedrock، وكيفية إرسال طلبك الأول. ثم نستعرض تقسيم الفيديو، والمخرجات المنظمة بصيغة JSON، والتوجيه متعدد الوسائط.

الجديد في Pegasus 1.5

يتضمن Pegasus 1.5 التغييرات التالية مقارنة بالإصدارات السابقة:

• إنشاء بيانات وصفية قائمة على الوقت. أنت تحدد المقاطع أو الأحداث أو الإشارات الخاصة بالمجال المهمة لسير عملك، مثل المقاطع التحريرية أو الأحداث الرياضية أو تغيّر المتحدثين أو ظهور العلامات التجارية. ويعيد Pegasus 1.5 كل مقطع مطابق بصيغة JSON، مع أوقات البداية والنهاية وتعبئة الحقول المطلوبة.
• التوجيه متعدد الوسائط. يمكن أن يجمع تعريف المقطع بين وصف نصي ومرجع بصري. وهذا يجعل من الممكن تحديد موقع منتج أو شعار أو شخص معين، إلى جانب ما يقوم به على الشاشة.
• المعالجة الفورية. لا حاجة إلى خط أنابيب لاستيعاب البيانات أو خطوة فهرسة مسبقة. تُرسل مقاطع الفيديو مباشرة من Amazon S3 وتُعاد النتائج في الاستجابة.
• قدرة معالجة موسّعة. يحلل Pegasus 1.5 مقاطع فيديو تصل مدتها إلى ساعتين في طلب واحد، مقارنة بساعة واحدة في Pegasus 1.2.

يحافظ Pegasus 1.5 على القدرات الأساسية ويحسّنها التي جعلت من Pegasus 1.2 أداة قوية لفهم الفيديو، بما في ذلك:

• إنشاء نص من الفيديو: ينشئ أوصافًا نصية مفصلة استنادًا إلى محتوى الفيديو.
• فهم بصري دقيق: يحلل الكائنات والنصوص على الشاشة والمحتوى الرقمي داخل إطارات الفيديو.
• الربط الزمني: يحدد بدقة الطوابع الزمنية لأحداث معينة داخل مقاطع الفيديو.
• فهم متعدد الوسائط: يجمع المعلومات البصرية والصوتية والنصية لإجراء تحليل شامل.
• دعم متعدد اللغات: دعم كامل للإنجليزية، مع دعم جزئي للعربية والصينية والفرنسية والألمانية والإيطالية واليابانية والكورية والبرتغالية والروسية والإسبانية والتايلاندية والفيتنامية.

كيف يعمل Pegasus 1.5 على Amazon Bedrock

يأخذ Pegasus 1.5 مقطع فيديو إما مع مطالبة نصية أو مع مجموعة من تعريفات المقاطع، ويعيد نصًا أو JSON. تستدعيه عبر نقطة النهاية bedrock-runtime باستخدام InvokeModel API، أو عبر InvokeModelWithResponseStream عندما تريد بث الاستجابة أثناء توليدها.

يعمل كل طلب في أحد نمطي تحليل، يتم اختيارهما باستخدام الحقل analysisMode :

يمكنك توجيه النموذج إلى الفيديو بطريقتين. موقع S3 (s3Location) يأخذ uri الكائن ومعرّف حساب bucketOwner ، ويناسب الفيديوهات الطويلة. سلسلة base64 (base64String) تدمج الفيديو في متن الطلب، حتى 25 MB، ويناسب المقاطع القصيرة.

لتتبع التكلفة حسب التطبيق، أنشئ ملف تعريف استدلال للتطبيق من نموذج Pegasus 1.5، وضع عليه وسومًا، واستدعِه عبر Amazon Resource Name (ARN) الخاص به بدلًا من معرّف النموذج.

البدء باستخدام Pegasus 1.5

يوضّح القسم التالي كيفية البدء باستخدام Pegasus 1.5.

المتطلبات الأساسية

قبل أن تبدأ، تأكد من توفر ما يلي:

1. حساب AWS نشط مع صلاحية الوصول إلى Amazon Bedrock.
2. Python 3.10 أو أحدث، مع تثبيت AWS SDK for Python (Boto3).
3. أذونات AWS Identity and Access Management (IAM) لـ bedrock:InvokeModel ولـ bedrock:InvokeModelWithResponseStream.
4. تمكين الوصول إلى النموذج TwelveLabs Pegasus 1.5 في وحدة تحكم Amazon Bedrock.
5. فيديوهات مخزّنة في حاوية Amazon S3، أو مقاطع قصيرة يمكنك إرسالها مباشرة.

تمنح سياسات الاستدعاء التالية كلاً من إجراءات الاستدعاء (invoke) على Pegasus 1.5.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:us-west-2::foundation-model/twelvelabs.pegasus-1-5-v1:0"
            ]
        }
    ]
}

يوقّع Boto3 الطلبات باستخدام بيانات اعتماد AWS المعتادة لديك. يمكنك أيضاً المصادقة باستخدام مفتاح API الخاص بـ Amazon Bedrock عن طريق تعيينه في AWS_BEARER_TOKEN_BEDROCK متغير البيئة. في بيئة الإنتاج، يُفضَّل استخدام مفتاح قصير الأجل يُنشأ من بيانات اعتماد IAM لديك عبر حزمة aws-bedrock-token-generator لأنه تنتهي صلاحيته تلقائياً. تتطلب مصادقة الرمز الحامل (Bearer token) أيضاً bedrock:CallWithBearerToken الإذن.

أرسل طلبك الأول

ثبّت Boto3:

pip install boto3

يحلل المثال التالي فيديو مخزناً في Amazon S3 في الوضع العام. يستخدم هذا المثال نقطة النهاية العالمية للاستدلال عبر المناطق (CRIS). لاستهداف نقطة النهاية الجغرافية للولايات المتحدة بدلاً منها، استبدل “global.” بـ “us.” في عنوان URL لنقطة النهاية.

import boto3
import json
from botocore.config import Config

AWS_REGION = "us-west-2"
MODEL_ID = "global.twelvelabs.pegasus-1-5-v1:0"

bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name=AWS_REGION,
    config=Config(
        # keep a longer read_timeout for lengthier invocations such as video segmentation
        read_timeout=900,
        retries={"max_attempts": 0},
        connect_timeout=10,
    ),
)

# Analyze a video stored in Amazon S3
payload = {
    "inputPrompt": "Summarize this video and identify the key topics discussed.",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://amzn-s3-demo-pegasus-15/your-video.mp4",
            "bucketOwner": "your-account-id"
        }
    },
    "temperature": 0.2,
    "maxOutputTokens": 4096,
    "includeMetering": True
}

response = bedrock_runtime.invoke_model(
    modelId=MODEL_ID,
    body=json.dumps(payload)
)
result = json.loads(response["body"].read())
print(result["message"])

تحمل الاستجابة الإجابة في message، وعدّادات الرموز في input_tokens و output_tokens، وسبب انتهاء التوليد في stopReason. القيمة stopReason من length تعني أن الإجابة وصلت إلى maxOutputTokens قبل أن تكتمل، لذا تحقق منها قبل الاعتماد على المخرجات:

if result["stopReason"] == "length":
    print("The answer was cut off. Raise maxOutputTokens and try again.")
print("Tokens in:", result["input_tokens"], "out:", result["output_tokens"])

حقول الطلب للوضع العام:

لمقطع فيديو قصير، يمكنك إرسال الفيديو مضمّنًا بدلًا من S3:

import base64

with open("your-video.mp4", "rb") as f:
    video_b64 = base64.b64encode(f.read()).decode("utf-8")

payload["mediaSource"] = {"base64String": video_b64}
response = bedrock_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps(payload))
print(json.loads(response["body"].read())["message"])

لاحظ أن المثال السابق يستخدم السمة الاختيارية includeMetering attribute. includeMetering: True تجعل Pegasus 1.5 يضيف حقلين لمعلومات الفوترة إلى الاستجابة غير المتدفقة: outputTokenCount و inputVideoSecond (مدة الفيديو الذي تم تحليله بالثواني).

بث الاستجابة (Streaming)

للتطبيقات التفاعلية، InvokeModelWithResponseStream تُرجع الإجابة على شكل أجزاء أثناء توليدها. يحمل كل جزء القطعة التالية من النص في message:

response = bedrock_runtime.invoke_model_with_response_stream(
    modelId=MODEL_ID,
    body=json.dumps(payload)
)
for event in response["body"]:
    chunk = json.loads(event["chunk"]["bytes"])
    print(chunk.get("message", ""), end="", flush=True)
print()

إرجاع JSON منظّم

في الوضع العام، يمكنك تقييد الإجابة بمخطط JSON Schema بحيث يمكن للكود اللاحق تحليلها مباشرة. عيّن responseFormat.type إلى json_schema وضع المخطط تحت jsonSchema. تصل الإجابة في message كسلسلة JSON:

payload = {
    "inputPrompt": "Analyze this video and return a structured summary.",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://amzn-s3-demo-pegasus-15/your-video.mp4",
            "bucketOwner": "your-account-id"
        }
    },
    "temperature": 0,
    "maxOutputTokens": 2048,
    "includeMetering": True,
    "responseFormat": {
        "type": "json_schema",
        "jsonSchema": {
            "type": "object",
            "properties": {
                "summary": {"type": "string"},
                "key_scenes": {"type": "array", "items": {"type": "string"}},
                "setting": {"type": "string"}
            },
            "required": ["summary", "key_scenes", "setting"]
        }
    }
}
response = bedrock_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps(payload))
summary = json.loads(json.loads(response["body"].read())["message"])
print(summary["summary"])
for scene in summary["key_scenes"]:
    print(" -", scene)

تجزئة الفيديو: تحويل الفيديو إلى بيانات منظمة

توليد البيانات الوصفية الزمنية هو المجال الذي يختلف فيه Pegasus 1.5 أكثر عن الإصدارات السابقة. بدلاً من موجه نصي، ترسل تعريف قطعة واحدة أو أكثر، ويعيد النموذج كل قطعة من الفيديو تطابق كل تعريف منها.

عيّن analysisMode إلى time_based_metadata و responseFormat.type إلى segment_definitions. تحل التعريفات محل inputPrompt، لذا اترك ذلك الحقل خارج الطلب. يحتوي كل تعريف على:

• id: اسم للتعريف، يُعاد في كل قطعة يطابقها.
• description: شكل القطعة المطابقة.
• fields: القيم المطلوب استخراجها لكل قطعة، وكل قيمة لها name، و type (string, boolean, number, integer, array، أو timestamp)، و description.

يحدد المثال التالي كل قسم تحريري في نشرة أخبار ويعيد عنواناً وملخصاً ومواضيع رئيسية لكل قسم:

payload = {
    "analysisMode": "time_based_metadata",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://amzn-s3-demo-pegasus-15/news-broadcast.mp4",
            "bucketOwner": "your-account-id"
        }
    },
    "responseFormat": {
        "type": "segment_definitions",
        "segmentTimeFormat": "hh:mm:ss",
        "segmentDefinitions": [
            {
                "id": "editorial_section",
                "description": "A distinct editorial section of the broadcast, "
                "such as a new story, topic, or segment of the program.",
                "fields": [
                    {"name": "segment_title", "type": "string",
                     "description": "A descriptive title"},
                    {"name": "summary", "type": "string",
                     "description": "A brief summary of the segment content"},
                    {"name": "key_topics", "type": "array", "items": {"type": "string"},
                     "description": "Main topics discussed"}
                ]
            }
        ]
    },
    "temperature": 0,
    "maxOutputTokens": 32768,
    "includeMetering": True
}
response = bedrock_runtime.invoke_model(
    modelId=MODEL_ID,
    contentType="application/json",
    accept="application/json",
    body=json.dumps(payload)
)
result = json.loads(response["body"].read())
for segment in result["segments"]:
    print(segment["start_sec"], "-", segment["end_sec"], segment["segment_title"])
    print(" ", segment["summary"])
    print(" topics:", ", ".join(segment["key_topics"]))

قد ينتج نموذج الكود السابق عند اختباره مقابل مقطع رياضي مخرجات مشابهة للنموذج التالي.

{
    "segments": [
        {
            "start_sec": "00:04:24",
            "end_sec": "00:05:22",
            "segment_title": "Substitutions and Added Time",
            "summary": "The referee announces three minutes of added time, and both teams make substitutions in preparation for a potential penalty shootout.",
            "key_topics": ["Substitutions", "Added time", "Penalty shootout preparation", "Tactical changes"]
        },
        {
            "start_sec": "00:05:22",
            "end_sec": "00:08:57",
            "segment_title": "Last Gasp Attempts and Final Whistle",
            "summary": "The final minutes of the match see intense action from both sides, with several close calls before the referee blows the final whistle, ending the game in a 3-3 draw.",
            "key_topics": ["Final whistle", "Draw"]
        },
        {
            "start_sec": "00:08:57",
            "end_sec": "00:09:29",
            "segment_title": "Match Conclusion and Penalty Shootout Setup",
            "summary": "The match concludes with a 3-3 draw, leading to a penalty shootout. Players from both teams shake hands and prepare for the decisive moments.",
            "key_topics": ["Match conclusion", "Penalty shootout", "Player handshakes", "Final"]
        }
    ],
    "definition_errors": [],
    "input_tokens": 249408,
    "output_tokens": 802,
    "stopReason": "stop",
    "finish_reason": "stop"
}

تحمل كل قطعة start_sec, end_sec، و fields الذي حددته. segmentTimeFormat يتحكم في كيفية كتابة الأوقات: seconds يعيد أرقاماً يمكنك إجراء عمليات حسابية عليها، بينما hh:mm:ss و hh:mm:ss.fff تعيد طوابع زمنية مقروءة كسلاسل نصية. تتضمن الاستجابة أيضاً قائمة definition_errors التي تكون فارغة عند معالجة جميع التعريفات.

يمكن لطلب واحد أن يتضمن تعريفات قطع متعددة، مثل تعريف للأقسام التحريرية وآخر لظهور العلامات التجارية على الشاشة. يعيد Pegasus 1.5 التطابقات لجميع التعريفات في قائمة واحدة segments ، ويوسم كل قطعة بـ _definition_id حتى تتمكن من التمييز بينها. يضيف المثال التالي تعريفاً ثانياً إلى الطلب السابق ويجمع النتائج:

from collections import defaultdict

payload["responseFormat"]["segmentDefinitions"].append({
    "id": "brand_appearance",
    "description": "A shot where a company logo or branded product "
    "is clearly visible on screen.",
    "fields": [
        {"name": "brand", "type": "string", "description": "The brand shown"},
        {"name": "is_prominent", "type": "boolean",
         "description": "Whether the brand is the main focus of the shot"}
    ]
})
response = bedrock_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps(payload))
result = json.loads(response["body"].read())
by_definition = defaultdict(list)
for segment in result["segments"]:
    by_definition[segment["_definition_id"]].append(segment)
for definition_id, segments in by_definition.items():
    print(definition_id, len(segments), "segments")

نظراً لأن المخطط يُعرّف مرة واحدة، يمكن تطبيق نفس التعريفات عبر مكتبة فيديو كاملة، مما ينتج بيانات وصفية متسقة لكل مادة.

الموجّهات متعددة الوسائط: إضافة سياق بصري إلى استعلاماتك

يقدم Pegasus 1.5 الموجّهات متعددة الوسائط، بحيث يمكنك تضمين صور مرجعية بجانب موجّهاتك النصية. هذا مفيد عندما تريد سؤال النموذج عن كائنات أو أشخاص أو مشاهد محددة يسهل إظهارها أكثر من وصفها.

على سبيل المثال، يمكنك تقديم صورة منتج وسؤال النموذج عن تحديد كل لحظة يظهر فيها ذلك المنتج في الفيديو. أو يمكنك تقديم صورة مرجعية لشعار محدد وسؤال النموذج عن اكتشاف ظهور العلامة التجارية وأطوابتها الزمنية. تعزز هذه القدرة دقة تحليل الفيديو وتفتح حالات استخدام مثل مراقبة العلامات التجارية البصرية، وتحليل المواضع الإعلانية للمنتجات، والبحث في المحتوى الموجّه بالصور.

تُرفق الصور المرجعية بطريقة مختلفة حسب الوضع. في الوضع العام، ضعها في promptV2.mediaSources, إلى جانب السؤال في promptV2.inputText. في وضع التجزئة (analysisMode: time_based_metadata), أرفقها بـ mediaSources لكل تعريف مقطع داخل responseFormat.segmentDefinitions. ويمكن حينها أن يطابق التعريف مرجعًا مرئيًا وكذلك وصفًا نصيًا. تتطلب كل صورة name، و media_type قيمتها image، ومصدرًا واحدًا بالضبط: إما base64String مضمّنًا أو s3Location مع uri و bucketOwner. يمكن للطلب الواحد أن يحمل حتى 30 صورة مرجعية.

يطرح الطلب في الوضع العام سؤالًا للنموذج حول عنصر ظاهر في صورة مرجعية. يقدم نموذج الحمولة والاستجابة التاليان مثالًا في الوضع العام.

payload = {
    "analysisMode": "general",
    "mediaSource": {"s3Location": {"uri": "s3://...", "bucketOwner": "..."}},
    "promptV2": {
        "inputText": "Does the object in the reference image appear in this video?",
        "mediaSources": [
            {"name": "ref1", "media_type": "image", "base64String": "..."}
        ]
    }
    …
}

{
    "input_tokens": 144,
    "output_tokens": 11,
    "message": "Yes, the green canoe appears in the video.",
    "stopReason": "stop"
}

في وضع التجزئة، توجد الصورة المرجعية داخل التعريف، لذا يعيد Pegasus المقاطع التي يظهر فيها ذلك المنتج فقط. يقدم نموذج الحمولة والاستجابة التاليان مثالًا في وضع التجزئة.

payload = {
    "analysisMode": "time_based_metadata",
    "mediaSource": {"s3Location": {"uri": "s3://...", "bucketOwner": "..."}},
    "responseFormat": {
        "type": "segment_definitions",
        "segmentTimeFormat": "hh:mm:ss",
        "segmentDefinitions": [
            {
                "id": "product_appearance",
                "description": "A shot showing the product in the reference image",
                "fields": [
                    {"name": "what", "type": "string", "description": "what is on screen"}
                ],
                "mediaSources": [
                    {"name": "ref1", "media_type": "image",
                     "s3Location": {"uri": "s3://...", "bucketOwner": "..."}}
                ]
            }
        ]
    }
}

{
    "segments": [
        {"start_sec": "00:00:00", "end_sec": "00:00:02",
         "what": "A family of four in a green canoe, paddling on a calm river surrounded by towering red rock formations."},
        {"start_sec": "00:00:09", "end_sec": "00:00:10",
         "what": "The family back in the canoe, paddling away from the shore, with the children smiling and enjoying the serene surroundings."}
    ],
    "definition_errors": [],
    "input_tokens": 4498,
    "output_tokens": 292,
    "stopReason": "stop",
    "finish_reason": "stop"
}

مراقبة الاستخدام

ينشر Pegasus 1.5 مقاييس Amazon CloudWatch في مساحة الأسماء AWS/Bedrock ضمن معرّف النموذج الخاص به، بما في ذلك Invocations, OutputTokenCount, InvocationLatency، و InvocationClientErrors. استخدمها لتتبع الحجم وزمن الاستجابة، وادمجها مع ملفات تعريف الاستدلال التطبيقية عندما تحتاج إلى تفصيل الاستخدام بحسب التطبيق.

حالات الاستخدام

صُمم Pegasus 1.5 للمؤسسات التي تدير كميات كبيرة من مقاطع الفيديو الطويلة:

• أرشيفات الأخبار والبث: يمكن للفرق تعريف المقاطع التحريرية والموضوعات وتغيّرات المتحدثين مرة واحدة، ثم فهرسة سنوات من التسجيلات التي كانت سابقًا قابلة للبحث عبر كلمات مفتاحية من النص المكتوب فقط.
• مذيعو الدوريات والرياضة: اكتشاف المباريات وأحداث التسجيل وغيرها من اللحظات الرئيسية عبر لقطات المباريات كاملة، مما يسرّع إنتاج الملخصات.
• تطبيقات البث: تدعم البيانات الوصفية على مستوى المشهد التوصيات القائمة على اللحظات، والإعلانات السياقية، ومراجعة سلامة العلامة التجارية على مستوى المقاطع.

في كل حالة، يظل الأشخاص جزءًا من سير العمل. ينتقل عملهم من العثور على كل لحظة ووسمها يدويًا إلى مراجعة وتحسين البيانات الوصفية التي يولّدها النموذج.

متطلبات المدخلات

يدعم Pegasus 1.5 مواصفات الفيديو التالية:

• المدة: تصل إلى 2 ساعة.
• حجم الملف: يصل إلى 2 GB من Amazon S3، أو يصل إلى 25 MB كسلسلة base64.
• الدقة: من 360×360 إلى 5184×2160.
• نسبة العرض إلى الارتفاع: بين 1:1 و2.4:1، أو معكوساتهما.
• الصيغ: الصيغ المدعومة من FFmpeg.

متاح الآن

يتوفر اليوم TwelveLabs Pegasus 1.5 على Amazon Bedrock في منطقة AWS غرب الولايات المتحدة (أوريغون). اطلع على قائمة المناطق الكاملة للاطلاع على التحديثات المستقبلية، وزر صفحة أسعار Amazon Bedrock للحصول على معلومات التسعير. يتم فوترة Pegasus 1.5 عبر AWS Marketplace، لذا تظهر رسومها في فاتورة AWS وفي AWS Cost Explorer تحت TwelveLabs بدلاً من Amazon Bedrock.

للبدء:

• زر صفحة نماذج TwelveLabs على Amazon Bedrock لمعرفة المزيد عن عائلة النماذج هذه.
• راجع بطاقة نموذج Pegasus 1.5 للاطلاع على دعم الميزات وتوافر المناطق ونموذج التعليمات البرمجية.
• أرسل لنا ملاحظاتك عبر AWS re:Post لـ Amazon Bedrock أو من خلال جهات اتصال دعم AWS المعتادة لديك.

نتطلع بحماس إلى رؤية ما ستطوره باستخدام TwelveLabs Pegasus 1.5 في Amazon Bedrock.

عن المؤلفين