كُتبت هذه المقالة بالاشتراك مع Shravan K S من Indegene Limited.
يخلق الذكاء الاصطناعي المؤسسي فرصًا جديدة لمنظمات علوم الحياة لتحسين عملية اتخاذ القرار عبر الوظائف التجارية والطبية والوصول إلى الأسواق وغيرها من وظائف الأعمال. لكن جودة كل نموذج ذكاء اصطناعي ولوحة معلومات ورؤية أعمال تعتمد على شيء واحد: البيانات الموثوقة. ومع نمو بيانات المؤسسة عبر منصات وخطوط أنابيب ومجالات أعمال متعددة، أصبح الحفاظ على جودة بيانات متسقة أمرًا يزداد صعوبة. فالإنشاء اليدوي لقواعد جودة البيانات، والحوكمة المجزأة، وتعريفات الأعمال المتطورة تجعل توسيع نطاق جودة البيانات عبر المؤسسة تحديًا كبيرًا.
تستكشف هذه المقالة كيف بنت Indegene وكيل جودة بيانات مدعوم بنماذج اللغة الكبيرة (LLM) بجودة إنتاجية ضمن منصتها NEXT Unified Data Platform (NEXT UDP) على AWS. يولّد هذا الوكيل قواعد جودة بيانات واعية بالسياق، ويتحقق من صحتها، وينتج كود SQL وPython جاهزًا للتشغيل في ظل حوكمة مركزية بالموازاة مع التدخل البشري. معًا، تساعد هذه القدرات المنظمات على تحسين جودة البيانات على نطاق المؤسسة مع تقليل الجهد المطلوب لبناء برامج جودة البيانات وصيانتها.
نبذة عن Indegene
شركة Indegene Limited (بورصة BSE: 544172، بورصة NSE: INDGN) هي الشريك التشغيلي الاستراتيجي لصناعة علوم الحياة، حيث تنسّق العمليات التجارية والطبية والبحث والتطوير وسلامة الأدوية عبر دورة حياة المنتج. وباعتماد أفضل 20 شركة أدوية حيوية في العالم عليها، تساعد Indegene في تشغيل سير عمل معقدة وشديدة التنظيم على نطاق عالمي. تجمع Indegene بين الخبرة العميقة في علوم الحياة والمنصات المدمجة بالذكاء الاصطناعي ونماذج التشغيل الخاضعة للحوكمة لتحسين السرعة والاتساق والامتثال عبر العمليات الحيوية للمهام. ومن خلال دمج التكنولوجيا في طريقة تنفيذ العمل وتوسيع نطاقه، تساعد Indegene منظمات علوم الحياة على تحقيق نتائج قابلة للقياس في البيئات المنظمة.
لماذا تفشل برامج جودة البيانات التقليدية
أنشأت معظم المنظمات عمليات لجودة البيانات، لكن الحفاظ على فعاليتها يصبح أمرًا يزداد صعوبة مع تطور منظومات بيانات المؤسسة.
أحد أكبر التحديات هو الانقسام بين ملكية القواعد التقنية وملكية القواعد التجارية. عادةً ما يعرّف مهندسو البيانات القواعد التقنية التي تؤكد ما إذا كانت البيانات صحيحة هيكليًا. على سبيل المثال، التحقق من أن معرّف HCP (معرّف أخصائي الرعاية الصحية) ليس فارغًا، ويتبع التنسيق المطلوب، وهو فريد، ويُعيَّن إلى سجل مرجعي صالح. أما فرق الأعمال فتحدد القواعد التي تقرر ما إذا كانت البيانات منطقية في سياقها التشغيلي. على سبيل المثال، تأكيد أن حصة السوق للمنتج يبلغ إجمالها 100 بالمائة ضمن إقليم معين، أو أن نشاط وصف الدواء لأخصائي الرعاية الصحية يتوافق مع تخصصه ومعايير أهليته. ولأن القواعد التقنية تُصان غالبًا في الكود بينما توجد القواعد التجارية في المسرد وإجراءات التشغيل القياسية (SOP) وخبرة المتخصصين، يصبح الحفاظ على توافقها وحوكمتها بشكل متسق عبر مجموعات البيانات والمنصات أمرًا صعبًا.
كما أن تقنيات التحقق التقليدية لها قيود متأصلة. تظل الفحوصات للقيم الفارغة وأنواع البيانات والتفرد والتكامل المرجعي أساسية، لكنها لا تستطيع التقاط السياق الخاص بالأعمال. فالتحقق من صحة تدرجات المنتجات وتقسيم العملاء ومواءمة الأقاليم أو قواعد الأعمال التجارية يتطلب معرفة بالمجال لا يمكن لمنطق التحقق الثابت تمثيله بسهولة.
إنشاء قواعد جودة البيانات وصيانتها أمر يتطلب جهدًا بالغًا أيضًا. فكل مجموعة بيانات جديدة تتطلب تحليلًا مبدئيًا للبيانات وتعريف القواعد وتطوير SQL والتحقق والصيانة المستمرة. وغالبًا ما تكون هذه القواعد موزعة عبر سكربتات SQL وكود خطوط الأنابيب وجداول البيانات وكتالوجات البيانات وإعدادات خاصة بأدوات معينة. ومع تغيّر المخططات أو تعريفات الأعمال أو عتبات التحقق، يزداد الجهد المطلوب لتحديث هذه القواعد وحوكمتها بشكل كبير.
بالإضافة إلى ذلك، فإن الأثر التشغيلي كبير. يصبح إدخال مجموعات بيانات جديدة أبطأ لأن العديد من الأنشطة تتكرر يدويًا. وتستهلك صيانة قواعد الجودة عبر مئات مجموعات البيانات جهدًا هندسيًا ثمينًا. ويفقد مستخدمو الأعمال الثقة عندما تكون قواعد التحقق صعبة الفهم أو التتبع أو الربط بسياق الأعمال.
نتيجةً لذلك، غالبًا ما تتحول جودة البيانات إلى نشاط حوكمة دوري بدلًا من أن تكون قدرة مستمرة وقابلة للتوسع.
إعادة التفكير في جودة البيانات باستخدام الذكاء الاصطناعي التوليدي
تعمل أدوات جودة البيانات التقليدية غالبًا كقدرات مستقلة، منفصلة عن منظومة بيانات المؤسسة الأوسع. ومع توسيع المنظمات نطاق الذكاء الاصطناعي والتحليلات، تحتاج جودة البيانات إلى أن تكون مدمجة داخل منصة البيانات نفسها، حيث تعمل الحوكمة والبيانات الوصفية وتتبع الأصل والتحليلات معًا.
تعالج Indegene ذلك من خلال منصة NEXT Unified Data Platform (NEXT UDP)، وهي منصة بيانات حديثة مدفوعة بالذكاء الاصطناعي مبنية خصيصًا لعلوم الحياة. تجمع NEXT UDP البيانات التجارية والطبية والإكلينيكية والمؤسسية المجزأة في بيئة واحدة خاضعة للحوكمة حتى تتمكن المنظمات من إدارة دورة حياة البيانات الكاملة من الإدخال إلى التحليلات. توفر NEXT UDP عدة وكلاء ذكاء اصطناعي مستقلين، مثل وكيل إدخال البيانات، ووكيل جودة البيانات، ووكيل التنسيق، ووكيل كتالوج البيانات، ووكيل مولّد SQL Bot. يمكنك استخدامها بشكل مستقل ضمن خطوط بياناتك أو تخصيصها أكثر للتواصل بين الوكلاء.
من خلال دمج إدخال البيانات والتحويل وجودة البيانات والحوكمة وإدارة البيانات الوصفية والتحليلات ضمن منصة موحدة، تساعد NEXT UDP المنظمات على:
- توحيد بيانات المؤسسة المجزأة في مصدر واحد موثوق للحقيقة.
- توحيد معايير جودة البيانات والحوكمة عبر مجالات الأعمال.
- تحسين وضوح البيانات الوصفية وتتبع النسب وقابلية التتبع.
- تقليل الجهد اليدوي عبر سير عمل هندسة البيانات.
- تقديم بيانات موثوقة وجاهزة للذكاء الاصطناعي لتحليلات المؤسسات واتخاذ القرارات.
الشكل 1: لوحة تحكم NEXT Unified Data Platform مع حالات الاستخدام ووكلاء الذكاء الاصطناعي
الشكل 2: البنية التقنية لـ NEXT UDP على AWS
كان عملاء Indegene في علوم الحياة بحاجة إلى وكيل يمكنه العمل بموثوقية في بيئة الإنتاج والامتثال لمتطلبات حوكمة صارمة، مع منح الفريق مرونة في طريقة بنائه. ضمن NEXT UDP، تُشغّل الذكاء الاصطناعي التوليدي وكيل جودة بيانات ذكي يعزز عمليات جودة البيانات الحالية. يعزز هذا الوكيل إنتاجية مهندس البيانات وأمين البيانات من خلال تسريع إنشاء القواعد، وتبسيط التحقق، والمساعدة في الحفاظ على حوكمة متسقة على نطاق المؤسسة.
بنى Indegene وكيل جودة البيانات على مجموعة من خدمات AWS، مع Amazon Bedrock وStrands Agents وAmazon Bedrock AgentCore في جوهره. Amazon Bedrock، يوفر خيارًا من النماذج الأساسية (FMs)، مبنية على أساس من ضوابط الأمان والخصوصية والذكاء الاصطناعي المسؤول. وهذا مهم لمنظمات علوم الحياة لأن بياناتها غالبًا ما تتضمن معلومات حساسة عن المتخصصين في الرعاية الصحية والمرضى. Strands Agents يبسّط بناء الوكيل وتحديثه، وتساعد أدوات التقييم الخاصة به Indegene في اختبار دقة القواعد، وهو أمر حاسم في بيئات علوم الحياة الخاضعة للتنظيم. يعمل الوكيل على Amazon Bedrock AgentCore، وهي منصة لبناء الوكلاء وربطهم وتحسينهم على نطاق واسع، بأي إطار عمل أو نموذج. كما يرث الحل ضوابط الأمان والتدقيق الحالية في AWS، بحيث يمكن لـ Indegene التركيز على منطق جودة البيانات بدلاً من البنية التحتية للوكيل.
ما الذي يجعل وكيل جودة البيانات فريدًا؟ قاعدتا معرفة تُشغّلان جودة بيانات واعية بالسياق
يمكن لأي أداة لجودة البيانات التحقق من القيم الفارغة أو التكرارات أو أنواع البيانات غير الصالحة. خدمات مثل AWS Glue Data Quality، وهي إمكانية في AWS Glue، توصي بالفعل بقواعد مثل هذه من إحصاءات البيانات، وتبقى أساسًا قويًا. المشكلة الأصعب هي تحديد ما إذا كانت البيانات منطقية لغرضها التجاري. ولمعالجة ذلك، يستخدم وكيل جودة البيانات قاعدتي معرفة متكاملتين تجمعان بين المعرفة المجالية المنسقة والخبرة المكتسبة من الاستخدام الخاضع للحوكمة.
الأولى هي قاعدة معرفة المؤسسة الداخلية: تجمع بين مسرد الأعمال الداخلي وقواميس البيانات وإجراءات التشغيل القياسية (SOPs) والإرشادات التنظيمية وقواعد جودة البيانات المعتمدة والنصوص البرمجية المتحقق منها ونتائج التنميط والحالات الشاذة التاريخية وملاحظات الخبراء المتخصصين (SME). يُستوعب المحتوى ويُحوَّل إلى متجهات ويُسترجع عبر التوليد المعزز بالاسترجاع (RAG) لتوليد قواعد جودة بيانات مستندة إلى معايير المؤسسة والنتائج المثبتة.
الثانية هي قاعدة المعرفة المرجعية الخارجية: تُبنى وتُحدَّث دوريًا باستخدام أطر جودة البيانات القياسية المعتمدة والبحث على الويب وسرحة الويب المضبوطة. عند اختيار مجموعة بيانات، يحلل الوكيل البيانات الوصفية للجدول والأعمدة ويسترجع معايير جودة البيانات ذات الصلة والقيم المرجاعية وأفضل ممارسات التحقق من مصادر موثوقة. على سبيل المثال، لعمود NPI (معرّف مقدم الخدمة الوطني)، يمكنه تحديد معايير الجودة المطبقة، والتوصية بالتنسيق (التنسيق الرقمي المطلوب المكوّن من 10 أرقام) وتنفيذ فحوصات التحقق المرجعي.
كيف يعمل
الشكل 3: تدفق عملية وكيل جودة البيانات
ينقل وكيل جودة البيانات المستخدمين من تنميط البيانات إلى إنشاء القواعد والحوكمة في سير عمل واحد:
- تحديد المصدر: الاتصال بمصدر مدعوم مثل Amazon Redshift أو Snowflake.
- تحديد قاعدة البيانات والمخطط: استعراض الجداول المتاحة، مع عدد القواعد وحالة القواعد النشطة لكل منها.
- بيانات التوصيف: يحسب الحل مقاييس الجودة وأنماط الأعمدة للجدول، والتي يراجعها المستخدمون.
- كشف الشذوذ: يشير الحل إلى الحالات الشاذة مقارنة بالخطوط الأساس التاريخية، ويراجع المستخدمون إجمالي المشكلات الحرجة والتحذيرية والسجلات المتأثرة.
- إدارة القواعد: راجع القواعد الحالية للجدول أو ابدأ في إنشاء قواعد جديدة.
- اختر وضع القاعدة: اختر مستوى العمود أو مستوى الجدول أو استعلام مخصص.
- توليد اقتراحات القواعد: يستخدم الوكيل البيانات الوصفية ونتائج التوصيف والشذوذ والقواعد الحالية وسياق قاعدة المعرفة للتوصية بقواعد تقنية وتجارية، لكل منها مستوى خطورة.
- المراجعة والتحسين والتطبيق: يقوم المستخدمون بتعديل كل توصية أو الموافقة عليها.
- توليد الكود والتحقق منه: ينتج الوكيل SQL و Python للقواعد المعتمدة، وتقوم خطوة تحقق بالتحقق منها.
- التخزين في مستودع القواعد المركزي: تصبح القواعد المعتمدة متاحة للتنفيذ والمراقبة والتدقيق.
بنية حل وكيل جودة البيانات المدعوم بالذكاء الاصطناعي التوليدي على AWS
يوضح المخطط التالي البنية المعمارية الشاملة لعامل جودة البيانات (Data Quality Agent) على منصة NEXT UDP، بدءًا من طلب مشرف البيانات وصولاً إلى تنفيذ القواعد.
الشكل 4: بنية حل عامل جودة البيانات على NEXT UDP
يستدعي مشرفو البيانات ومحللو جودة البيانات الحل من تطبيق Indegene. يقدم الجدول التالي جولة في مسار الحل ويحدد خدمات AWS المستخدمة لكل طبقة. كما يوثق الخيارات الأخرى التي يدعمها الحل، حتى تتمكن من تكييفه مع أحجام بياناتك وأدواتك الحالية وتفضيلاتك التشغيلية.
| الطبقة | خدمات AWS / المنصة | مدعوم أيضًا | الدور |
| واجهة برمجة التطبيقات والوصول | AWS WAF, Amazon API Gateway, Amazon Cognito | – | يستدعي مشرفو البيانات ومحللو جودة البيانات الحل عبر Amazon API Gateway. يقوم AWS WAF بتصفية الطلبات قبل وصولها إلى واجهة برمجة التطبيقات، ويقوم Amazon Cognito بمصادقة المستخدمين باستخدام OAuth 2.0 والتحقق من صحة JWT في كل طلب. |
| طبقة مصدر البيانات | Amazon Redshift | موصل Snowflake, Amazon Simple Storage Service (Amazon S3)، مصادر JDBC/ODBC | يوفر بيانات منظمة وشبه منظمة لتوصيف جودة البيانات وتنفيذ القواعد. |
| طبقة كتالوج البيانات الوصفية | AWS Glue Data Catalog | زواحف AWS Glue لاكتشاف المخططات تلقائيًا | يلتقط قواعد البيانات والمخططات والجداول والأعمدة وأنواع البيانات وتغطية القواعد. |
| طبقة التوصيف واكتشاف الشذوذ | AWS Lambda (Python)، مع تخزين النتائج في Amazon DynamoDB | مهام AWS Glue, Amazon Athena, Amazon Redshift SQL |
يتم حساب إحصاءات الأعمدة، مثل معدلات القيم الفارغة والأعداد المميزة وامتثال نوع البيانات والأنماط ونطاقات القيم والإشارات على مستوى الجدول، بواسطة عملية توصيف قائمة على Python على AWS Lambda، تنفذ نفس دالة Lambda اكتشاف الشذوذ باستخدام مقارنة إحصائية مع خطوط الأساس التاريخية للإبلاغ عن التحولات غير المتوقعة، مثل ارتفاع مفاجئ في معدل القيم الفارغة أو تغير في الأعداد المميزة. |
| طبقة المعرفة/RAG | قاعدة معرفة Amazon Bedrock مع Amazon Aurora PostgreSQL (pgvector) و S3 لتخزين مستندات المعرفة معرضها كأدوات من خلال AgentCore Gateway، وهي إمكانية من Amazon Bedrock AgentCore | Amazon OpenSearch Serverless كمخزن متجهات، Amazon S3 Vectors، وهي إمكانية من Amazon S3 | تسترجع من قواعد معرفة Amazon Bedrock (معايير مرجعية خارجية ومعرفة مؤسسية داخلية). يربط AgentCore Gateway الوكيل بقواعد معرفته كأدوات. |
| طبقة ذكاء النموذج اللغوي الكبير | Strands Agents على AgentCore runtime، وهي إمكانية من Amazon Bedrock AgentCore، و Claude Sonnet 4.5 على Amazon Bedrock, Amazon Bedrock Guardrails, ذاكرة AgentCore | نماذج الأساس الأخرى المتاحة في Amazon Bedrock | تولّد قواعد جودة البيانات وتستخدم السياق المُجمَّع والمطالبات ذات الأمثلة القليلة (few-shot) للتوصية بكل من الفحوصات التقنية (الاكتمال والتنسيق والتفرد) وقواعد الأعمال الخاصة بالقطاع الدوائي. توفر Amazon Bedrock خيارًا من نماذج الأساس لتوليد القواعد. يوفر AgentCore runtime بيئة مُدارة ومعزولة للجلسات، وتحتفظ ذاكرة AgentCore بتعليقات المراجعين لتحسين التوصيات المستقبلية. |
| طبقة التنسيق والمراجعة البشرية | خدمة AWS Step Functions من أمازون, خدمة AWS Lambda من أمازون, خدمة Amazon Simple Queue Service (Amazon SQS) - خدمة الطوابير البسيطة من أمازون, خدمة Amazon Simple Notification Service (Amazon SNS) - خدمة الإشعارات البسيطة من أمازون, خدمة Amazon EventBridge من أمازون | – | تنسّق عمليات التوصيف، واستدعاءات النموذج اللغوي الكبير، وتوليد القواعد، وتنفيذ القواعد، وتحديثات الحالة، والمراجعة البشرية. |
| مستودع بيانات القواعد الوصفية | Amazon DynamoDB | Amazon Aurora / خدمة قواعد البيانات العلائقية من أمازون (Amazon RDS) | يخزّن معرّف القاعدة واسمها ونوعها والعمود والحالة والمُعد وتاريخ الإنشاء ودرجة الخطورة وتفاصيل الإصدار. |
| توليد التعليمات البرمجية والتحقق منها وتخزينها | Amazon Bedrock – Claude Sonnet 4.5 و AgentCore Code Interpreter، وهي إمكانية من Amazon Bedrock AgentCore، مع تخزين البرامج النصية المعتمدة في Amazon S3 | – | يُنشئ تعليمات برمجية بلغة Python / SQL ويتحقق منها قبل التخزين |
| طبقة التنفيذ | AWS Lambda | مهام AWS Glue, Amazon Athena, Amazon Redshift SQL | يُشغّل فحوصات جودة البيانات ويكتب أعداد الانتهاكات والشذوذات التفصيلية. |
| طبقة المراقبة ولوحات المعلومات | Amazon CloudWatch, AgentCore Observability، وهي إمكانية من Amazon Bedrock AgentCore أو واجهة مستخدم التطبيق | Amazon Quick, Amazon OpenSearch لوحات المعلومات | تعرض لوحة معلومات جودة البيانات القواعد المطبَّقة وحالتها، إضافة إلى إجمالي الشذوذات والشذوذات الحرجة والفحوصات المُشغَّلة وتفاصيل المشكلات. |
| الأمن والحوكمة | AWS Identity and Access Management (AWS IAM), AWS Key Management Service (AWS KMS), AWS Secrets Manager, AWS CloudTrail, AWS Config, Amazon GuardDuty, AWS Security Hub, Amazon Inspector, نقاط النهاية للسحابة الخاصة الافتراضية (VPC) | – | المصادقة والتشفير والأسرار والتدقيق واكتشاف التهديدات |
كيف يبني وكيل جودة البيانات السياق
قبل التوصية بأي قاعدة تحقق، يجمع وكيل جودة البيانات السياق من ستة مصادر مختلفة، يُجيب كل منها عن سؤال مختلف يتعلق بالبيانات:
| مصدر السياق | ما يوفره | السؤال الذي يجيب عنه |
| بيانات التعريف للجدول/العمود (الكتالوج) | المخطط وأنواع البيانات من كتالوج البيانات | ما هذه البيانات؟ |
| ملف تعريف البيانات | إحصاءات على مستوى العمود محسوبة من البيانات الفعلية، مثل معدلات القيم الفارغة وأعداد القيم المميزة ونطاقات القيم والقيم المتكررة والأنماط المكتشفة | كيف تبدو البيانات في الوقت الحالي؟ |
| نتائج اكتشاف الشذوذ | تغييرات غير متوقعة تم الإشارة إليها من خلال مقارنة أحدث ملف تعريف بالخطوط الأساسية التاريخية، مثل ارتفاع مفاجئ في القيم الفارغة، أو تغيير في القيم المميزة، أو قيم خارج النطاق | ما الذي تغير أو يبدو خاطئًا؟ |
| قواعد جودة البيانات النشطة الحالية | القواعد المطبقة مسبقًا على مستوى الجدول أو العمود، والمسترجعة من مستودع القواعد | ما القواعد الموجودة بالفعل، حتى لا نُكرر أو نتعارض؟ |
| قاعدة المعرفة المرجعية الخارجية | معايير جودة البيانات العالمية والعمومية الراسخة وأفضل ممارسات التحقق (على سبيل المثال، قواعد التنسيق والبنية للمعرفات مثل National Provider Identifier) | ما هي المعايير الصناعية لهذا الحقل؟ |
| قاعدة المعرفة المؤسسية الداخلية | أنماط قواعد جودة البيانات الخاصة بالمنظمة، وملاحظات المراجعين السابقة، ومكتبات قواعد العمل/التقنية المنسقة | كيف تحدد هذه المؤسسة الجودة؟ |
وتُمكِّن هذه المصادر مجتمعةً الوكيل من التفكير مثل خبير إدارة بيانات متمرس، وذلك عبر إسناد كل توصية إلى ما هي عليه البيانات فعليًا وهو، وما تفرضه المعايير ، وكيف تحدد المؤسسة الجودة، وما تم تطبيقه مسبقًا من عمليات.
ما يفعله الحل
يقوم وكيل جودة البيانات بتوليد عدة فئات من الفحوصات مع إبقاء خبراء إدارة البيانات في السيطرة على النتائج.
توليد فحوصات الشواذ
يولّد الحل فحوصات شواذ تكتشف القيم التي تكون صالحة تقنيًا لكنها لا تطابق سلوك السوق الدوائي. تشمل هذه النسب التحويلية السالبة، وحصص السوق التي لا يبلغ مجموعها 100 بالمئة داخل السوق الواحد، والترتيبات الدوائية غير المتسقة (على سبيل المثال، دواء يحتل المرتبة الأولى بحصة أقل من الدواء صاحب المرتبة الثانية)، وقيم التقييم خارج المقياس المحدد، وأحجام اللوحات الصغيرة جدًا أو التي لا تطابق عدد المستجيبين.
توليد القواعد بوعي السياق باستخدام RAG
يولّد وكيل جودة البيانات توصيات القواعد في ثلاثة أوضاع:
| نوع القاعدة | الوصف |
| مستوى العمود | يُنشئ قواعد جودة بيانات لعمود محدد فردي يختاره المستخدم. يقرأ الوكيل البيانات الوصفية لتلك العمود وإشارات تحليله لاقتراح فحوصات مثل التحقق من نوع البيانات، وفحوصات القيم الفارغة والحقول الإلزامية، والتحقق من الطول والنطاق، والتحقق من النمط/التنسيق، والتفرد. |
| مستوى الجدول | يُنشئ قواعد جودة بيانات للجدول ككل، بناءً على البيانات الوصفية للجدول والعلاقات عبر أعمدته. يغطي هذا اتساق السجلات، واكتشاف التكرارات، والتحقق عبر الأعمدة، وفحوصات التكامل المرجعي، والاتساق التجاري على مستوى الجدول بالكامل. |
| استعلام مخصص | يُنشئ قواعد قائمة على SQL من مدخلات بلغة طبيعية. يصف المستخدم التحقق التجاري باللغة الإنجليزية البسيطة ويُنتج الوكيل SQL المقابل، والذي يمكن بعد ذلك تحسينه محادثاتيًا أو تعديله مباشرة لدعم عمليات تحقق معقدة تقع خارج نطاق فحوصات الأعمدة والجداول القياسية. |
توفر واجهة إنشاء قاعدة جودة جديدة (Create New Quality Rule) أوضاعًا مخصصة: مستوى العمود، ومستوى الجدول، واستعلام مخصص.
تدعم المنصة كلاً من التحقق التقني وفحوصات الجودة الخاصة بالأعمال.
بالنسبة للقواعد التقنية، يُنشئ الوكيل فحوصات تؤكد سلامة البيانات هيكليًا. تشمل هذه فحوصات القيم الفارغة للحقول الإلزامية، والتحقق من نوع البيانات، والتحقق من النطاق للقيم الرقمية والتواريخ، والتحقق من النمط للحقول المنسقة مثل المعرّفات والرموز، واكتشاف التكرارات، وفحوصات التكامل المرجعي بين الجداول ذات الصلة.
بالنسبة لقواعد الأعمال، يُنشئ الوكيل فحوصات علوم الحياة التي تؤكد اتساق البيانات مع طريقة عمل المؤسسة. تشمل هذه اتساق ارتباط الحساب (على سبيل المثال، مقدم رعاية صحية مرتبط بالمنظمة الصحيحة)، ومنطق التقسيم، ومعايير الأهلية، والتحقق من الحصة السوقية وحصة المنتج (على سبيل المثال، ألا تتجاوز الحصص داخل منطقة معينة 100%).
مثال واقعي لاستخدام عملي
لنأخذ بعين الاعتبار جدول أداء منتجات HCP يضم الأعمدة HCP_ID وSpecialty وTerritory_ID وProduct_ID وPrescription_Volume وMarket_Share_Pct وSwitch_Pct وRating_Scale وReporting_Month. باستخدام ملف الجدول التعريفي وقاعدتي المعرفة، هكذا يُنشئ وكيل جودة البيانات الفحوصات التالية ويقوم بها:
- فحوصات الشذوذ المُجراة.
- نسبة تحول سالبة.
- عدم تطابق مجموع الحصة السوقية.
- ارتفاع أو انخفاض مفاجئ في حجم الوصفات الطبية.
- ترتيبات منتجات غير متسقة.
- قيم غير صالحة لمقياس التقييم.
- القواعد التقنية المُولدة.
- يجب ألا يكون HCP_ID فارغًا أو مكررًا.
- يجب أن تكون Prescription_Volume رقمية وغير سالبة.
- يجب أن تكون Market_Share_Pct وSwitch_Pct بين 0 و100.
- يجب أن تتبع Reporting_Month تنسيق التاريخ المطلوب.
- يجب أن يتطابق Territory_ID وProduct_ID مع جداولهما المرجعية.
- قواعد الأعمال المُولدة.
- يجب أن يبلغ مجموع الحصص السوقية عبر جميع المنتجات 100 بالمائة لكل منطقة وكل شهر تقارير.
- يجب أن تتوافق أهلية HCP تجاه المنتج مع تخصصه.
- يمكن تضمين فقط HCPs المؤهلين في الشريحة المستهدفة.
توصية بالخطورة بمساعدة الذكاء الاصطناعي
توصي الحل بمستوى الخطورة بناءً على سياق مجموعة البيانات ونوع القاعدة والتأثير التجاري. تساعد فئات الخطورة على التمييز بين:
- حرج المشكلات، مثل المقاييس التجارية غير الصالحة، أو المعرفات غير الصحيحة، أو انتهاكات قواعد العمل.
- أساسي التحققات الصالحة، بما في ذلك المطابقة مع المخطط، والتحقق من القيم الفارغة، والتحقق من الطول.
- معقد التحقق المتضمن منطق SQL متقدمًا، أو قواعد متعددة الأعمدة، أو فحوصات أعمال خاصة بمجال معين.
- معلومة: تحقق يُجرى لأغراض الوعي والشفافية فقط. لا يلزم اتخاذ أي إجراء ما لم يتم تحديد مخاوف.
توليد كود SQL/Python والتكامل مع ETL
بعد الموافقة على قاعدة ما، يقوم نموذج LLM بتوليد الكود المكافئ بلغات SQL وPython وPySpark. وقبل تخزينه، يتم التحقق من الكود تلقائيًا من خلال فحوصات الصياغة، وفحص مقابل المخطط المستهدف، وتشغيل تجريبي على بيانات نموذجية حيث تدعم اللغة ذلك. وهذا يعني أن أدوات الاستخراج والتحويل والتحميل (ETL) والتنسيق الحالية يمكنها تشغيلها كجزء من خطوط البيانات الحالية.
التحقق بمساعدة الذكاء الاصطناعي
استخدام نموذج LLM كوكيل تحقق لمراجعة قواعد/سكربتات جودة البيانات (DQ) التي يولدها نموذج LLM آخر لتقليل الهلوسة وتحسين الحوكمة. علاوة على ذلك، يوفر Amazon Bedrock ضوابط الأمان والخصوصية والذكاء الاصطناعي المسؤول. لا تُستخدم المدخلات والمخرجات لتدريب النماذج أو مشاركتها مع مزودي النماذج. يعد Amazon Bedrock مؤهلاً للامتثال لمعايير HIPAA ومشمولاً في برامج الامتثال مثل SOC وISO وGDPR، مما يساعد Indegene على تلبية متطلبات عملائها في مجال علوم الحياة. يضيف Amazon Bedrock Guardrails ضمانات قابلة للتهيئة على مدخلات النموذج ومخرجاته. فهو يكتشف ويقنّع المعلومات الشخصية القابلة للتحديد (PII)، ويحجب المحتوى الضار وهجمات حقن المطالبات، ويستخدم فحوصات الترسيخ السياقي لتحديد الاستجابات غير المدعومة من المعرفة المستردة.
يبقى الإشراف البشري محورياً
تم تصميم وكيل جودة البيانات لتعزيز عمليات جودة البيانات الحالية. تتلقى كل قاعدة مولّدة درجة ثقة. تُعتمد القواعد عالية الثقة ومنخفضة المخاطر تلقائيًا فقط، بينما تُحوَّل القواعد الحرجة وقواعد الأعمال دائمًا إلى خبير في المجال (SME) للمراجعة. ويتم تسجيل كل قرار في مستودع القواعد، بحيث تظل إدارة القواعد محكومة وقابلة للتتبع ومتوافقة مع المعايير المؤسسية.
تحقيق الأثر التشغيلي والقيمة التجارية
في الإنتاج، وعبر نشر Indegene لمنصة NEXT UDP لعملاء علوم الحياة، خفّض وكيل جودة البيانات الجهد المطلوب لتحديد وتنفيذ قواعد جودة البيانات من حوالي 30 ساعة إلى حوالي 4 ساعات لكل مجموعة بيانات. أي انخفاض في الجهد بنسبة تقارب 85 بالمئة، أو إنتاجية أعلى بحوالي 7 أضعاف. يستغرق الآن إعداد جدول جديد من 2 إلى 4 ساعات بدلاً من 2 إلى 5 أيام عمل. ويقضي مهندسو البيانات وأمناء البيانات وقتهم الآن في مراجعة القواعد والموافقة عليها بدلاً من كتابتها من الصفر.
تشمل النتائج الرئيسية ما يلي:
- جهد يدوي أقل من خلال القواعد وSQL وPython المولّدة بالذكاء الاصطناعي.
- إعداد أسرع للجداول والمخططات ومجالات الأعمال الجديدة.
- قواعد أكثر اتساقًا، مرتكزة على المعايير المعتمدة والمعرفة المؤسسية والقواعد الحالية.
- تعاون أفضل بين فرق الأعمال والفرق التقنية من خلال سير عمل المراجعة والتحسين والموافقة.
- اكتشاف مبكر لمشكلات جودة البيانات من خلال التنميط الآلي واكتشاف الشذوذ.
الجدول 1: الأداء والنطاق
| المقياس | الأثر* |
| تنميط المؤسسة | 25–50 مخططًا؛ 500–2,000 جدول؛ 10,000–50,000 عمود |
| تحليل الجداول | 45–90 ثانية (~1M صف)؛ 2–5 دقائق (~10M صف) |
| توليد القواعد بالذكاء الاصطناعي | 20–45 ثانية لكل جدول |
| توليد SQL | 3–8 ثوانٍ لكل قاعدة؛ 20–60 ثانية لـ 10–15 قاعدة |
| تنفيذ القواعد | 20–30 ثانية (قياسي)؛ 1–3 دقائق (SQL معقد) |
| مستودع مركزي للقواعد | 1,000–10,000 قاعدة |
| فحص جودة بيانات لكل تنفيذ | 100–500 لكل نطاق. قابل للتوسع إلى أكثر من 1,000 |
*مُقدَّر من عمليات النشر الإنتاجية لشركة Indegene
الجدول 2: جودة القواعد والتحقق منها
| المقياس | الأثر* | ماذا يعني |
| دقة اقتراح القواعد | 80–90% | اقتراحات صالحة تقنيًا وتُطبَّق بشكل صحيح على العمود أو الجدول |
| معدل قبول القواعد | 60–75% | اقتراحات تمت الموافقة عليها دون أي تغييرات |
| معدل تحسين القواعد / معدل التجاوز البشري | 20–35% | اقتراحات تمت الموافقة عليها بعد أن عدّل المراجع المنطق أو الحدود القيمية |
| صلاحية SQL | 90–97% (مُستند إلى المخطط)؛ 80–90% (SQL مخصص) | كود SQL مُولَّد يجتاز التحقق من المحاولة الأولى |
| دقة توصية الخطورة | 75–85% | خطورة موصى بها تطابق الخطورة النهائية للمراجع |
| الملاءمة للأعمال (تقييم خبير المجال SME) | 4.0–4.5 / 5 | تقييم خبير المجال لمدى فائدة القواعد الموصى بها للأعمال |
| معدل الهلوسة | <5–8% | اقتراحات تشير إلى أعمدة غير موجودة أو منطق أعمال غير صحيح |
*مُقدَّر من عمليات النشر الإنتاجية لشركة Indegene
الجدول 3: الكفاءة التشغيلية
| المقياس | الأثر* |
| كتابة قواعد SQL يدويًا | انخفاض بنسبة 60–80% في الجهد الكامل، بما في ذلك المراجعة والتحسين |
| تهيئة جدول جديد | من 2–5 أيام عمل إلى 2–4 ساعات |
| إعادة استخدام القواعد | 40–60% من القواعد الجديدة مُكيَّفة من قواعد معتمدة قائمة |
| تحسين تكلفة نموذج اللغة الكبير (LLM) | خفض يصل إلى 90% في تكلفة رموز الإدخال على السياق المخزَّن مؤقتًا مع التخزين المؤقت للمطالبات في Amazon Bedrock |
| تحسين الحوسبة | خفض بنحو 45–51% مع التنميط المعتمد على البيانات الوصفية أولًا |
*مُقدَّرة من عمليات نشر الإنتاج لدى Indegene
الجدول 4: مقارنة النهج اليدوي بالنهج المدعوم بالوكلاء لجودة البيانات
| النشاط | نهج جودة البيانات التقليدي | نهج جودة البيانات المدعوم بالذكاء الاصطناعي التوليدي | الأثر* |
| اكتشاف القواعد | مراجعة يدوية للمخططات وتقارير التنميط وعينات البيانات والوثائق. يمكن للأدوات القائمة توليد فحوصات تنميط أساسية لكنها غالبًا ما تفوّت منطق الأعمال الخاص بالمجال | يستخدم الوكيل البيانات الوصفية ونتائج التنميط وسياق الجدول وأنماط القواعد القائمة ووصفات أعمال اختيارية لاقتراح قواعد جودة بيانات تقنية وخاصة بعلوم الحياة | أسرع بنسبة 80-85% |
| توليد القواعد التقنية | إنشاء يدوي لقواعد القيم الفارغة وأنواع البيانات والنطاقات والتفرد والتكامل | توليد آلي للقواعد مع مراجعة بشرية | أسرع بنسبة 80-85% |
| تعريف قواعد الأعمال | غالبًا ما يستند التحقق إلى البيانات الوصفية التقنية بفهم محدود للمنتج أو القطاع أو العميل أو منطق الأهلية. ويعتمد سياق الأعمال بشكل كبير على مناقشات خبراء الموضوع والترجمة اليدوية إلى منطق تحقق | يستخدم RAG لاسترجاع مسارد الأعمال وقواميس البيانات والقواعد القائمة وأنماط الشذوذ التاريخية لتوليد توصيات واعية بالسياق. | أسرع بنسبة 70-75% |
| تأليف القواعد وتطوير SQL/Python | يحدد المهندسون قواعد التحقق يدويًا ويقومون بالبرمجة وتصحيح الأخطاء والاختبار لكل مجموعة بيانات أو متطلب عمل. | قواعد مُولَّدة تلقائيًا على مستويات العمود والجدول والاستعلام المخصص، وتوليد SQL/Python لفحوصات جودة البيانات المحددة. يمكن للمستخدمين مراجعة التوصيات وتحسينها وتطبيقها. | أسرع بنسبة 80-85% للوصول إلى أول كود عامل |
| التحقق من صحة القواعد | يتم التحقق من القواعد يدويًا، بما يتضمن تكرارات متعددة لتنفيذ الاستعلامات وتحسينها | يقوم الوكيل بتقييم القواعد وتحسينها وتحسين أدائها تلقائيًا | أسرع بنسبة 80-85% |
| إعادة استخدام القواعد | النسخ والتعديل وإعادة الاستخدام يدويًا | القواعد المعتمدة والملاحظات تُضاف إلى معرفة الوكيل | تسريع تهيئة مجموعات البيانات الجديدة بنسبة 50% في مجال قائم |
| كشف الشذوذ | التحليل اليدوي لمخرجات التنميط والسجلات | الكشف الآلي عن الشذوذ مع شروحات في سياق الأعمال | أسرع بنسبة 80-85% |
| تصنيف الخطورة | تُحدَّد خطورة القاعدة وأثرها التجاري يدويًا، مما قد يؤدي إلى ترتيب أولويات غير متسق. | يوصي بدرجة الخطورة بناءً على نوع القاعدة وسياق مجموعة البيانات والأثر التجاري. | خطورة متسقة قائمة على السياق |
| الحوكمة وإمكانية التتبع | غالبًا ما تتوزع القواعد عبر أدوات ونصوص برمجية وجداول بيانات أو فهارس، مما يجعل الحوكمة وإمكانية التتبع أمرًا صعبًا. وتختلف سير عمل الاعتماد والمراجعة بين الفرق. | مستودع مركزي ونسخي للقواعد مع تحديد ملكية | تقليل جهد الصيانة بنسبة 85% |
| الجهد البشري | خبراء المجوعة والمهندسون يقودون كل خطوة | يركّز خبراء المجال على المراجعة والاعتماد. يتولى الوكيل مهام الاكتشاف والتوليد | إنتاجية وقابلية توسع أعلى، بإنتاجية تقارب 7 أضعاف |
*تقديرات مستمدة من عمليات النشر الإنتاجية لدى Indegene
النظرة المستقبلية
مع استمرار نمو أنظمة البيانات المؤسسية، يصبح الحفاظ على جودة بيانات متسقة وقابلة للتوسع أمرًا متزايد الصعوبة عند استخدام إنشاء القواعد يدويًا وعمليات الحوكمة المجزأة. ويوفر الذكاء الاصطناعي التوليدي فرصة لتعزيز سير العمل هذه من خلال تسريع توليد القواعد، ودمج سياق الأعمال، ودعم اتخاذ القرارات الخاضعة للحوكمة.
يوضح وكيل جودة البيانات المدعوم بالذكاء الاصطناعي التوليدي ضمن منصة NEXT Unified Data Platform كيف يمكن لنماذج اللغة الكبيرة وتقنية RAG وحوكمة القواعد المركزية أن تعمل معًا لتبسيط إدارة جودة البيانات مع إبقاء البشر في control للمراجعة والاعتماد. وستستمر التحسينات المستقبلية في البناء على هذا الأساس، بما في ذلك:
- توصيات المعالجة بمساعدة الذكاء الاصطناعي لمساعدة المستخدمين على حل عمليات فحص جودة البيانات الفاشلة.
- تحليل الأسباب الجذرية لتحديد أنماط الشذوذ المتكررة ودعم التحقيق الأسرع في مشكلات جودة البيانات المتكررة.
مع تطور هذه القدرات، يبقى التركيز كما هو: مساعدة المؤسسات على تحسين جودة البيانات من خلال الأتمتة بمساعدة الذكاء الاصطناعي مع الحفاظ على الحوكمة والشفافية والرقابة التجارية.
لمعرفة المزيد، راجع الموارد التالية:
- Indegene في مجال علوم الحياة
- الذكاء الاصطناعي التوليدي في الرعاية الصحية وعلوم الحياة
- دورة AWS Skill Builder: بناء تطبيقات الذكاء الاصطناعي التوليدي باستخدام Amazon Bedrock
- مستودع GitHub: وكلاء نموذجيون للرعاية الصحية وعلوم الحياة على AWS