AWS Machine LearningVeröffentlichung der Quelle

Wie Indegene die Unternehmens-Datenqualität in den Lebenswissenschaften modernisiert und skaliert

Dieser Beitrag wurde in Zusammenarbeit mit Shravan K S von Indegene Limited verfasst.

Dieser Beitrag wurde in Zusammenarbeit mit Shravan K S von Indegene Limited verfasst.

Unternehmens-KI eröffnet Unternehmen in den Lebenswissenschaften neue Möglichkeiten, die Entscheidungsfindung in kommerziellen, medizinischen, marktzugangsbezogenen und anderen Geschäftsbereichen zu verbessern. Doch die Qualität jedes KI-Modells, Dashboards und jeder geschäftlichen Erkenntnis hängt von einer Sache ab: vertrauenswürdigen Daten. Da Unternehmensdaten über mehrere Plattformen, Pipelines und Geschäftsbereiche hinweg wachsen, wird die Aufrechterhaltung einer konsistenten Datenqualität zunehmend schwierig. Die manuelle Erstellung von Datenqualitätsregeln, fragmentierte Governance und sich wandelnde Geschäftsdefinitionen erschweren die Skalierung der Datenqualität im gesamten Unternehmen.

Dieser Beitrag untersucht, wie Indegene einen produktionsreifen, durch große Sprachmodelle (LLMs) gestützten Data Quality Agent innerhalb seiner NEXT Unified Data Platform (NEXT UDP) auf AWS entwickelt hat. Der Agent generiert kontextbezogene Datenqualitätsregeln, validiert sie und erstellt ausführungsreifen SQL- und Python-Code unter zentralisierter Human-in-the-Loop-Governance. Diese Funktionen helfen Unternehmen gemeinsam, die Datenqualität im Unternehmensmaßstab zu verbessern und gleichzeitig den Aufwand für den Aufbau und die Pflege von Datenqualitätsprogrammen zu reduzieren.

Über Indegene

Indegene Limited (BSE: 544172, NSE: INDGN) ist der strategische operative Partner der Life-Sciences-Branche und orchestriert kommerzielle, medizinische, F&E- und Sicherheitsabläufe über den gesamten Produktlebenszyklus. Von den Top 20 Biopharma-Unternehmen der Welt vertraut genutzt, hilft Indegene, komplexe, streng regulierte Workflows in globalem Maßstab zu betreiben. Indegene kombiniert tiefgreifende Life-Sciences-Expertise mit KI-integrierten Plattformen und governierten Betriebsmodellen, um Geschwindigkeit, Konsistenz und Compliance in mission-kritischen Abläufen zu verbessern. Durch die Integration von Technologie in die Art und Weise, wie Arbeit ausgeführt und skaliert wird, hilft Indegene Unternehmen in den Lebenswissenschaften, messbare Ergebnisse in regulierten Umgebungen zu erzielen.

Warum konventionelle Datenqualitätsprogramme scheitern

Die meisten Unternehmen haben Datenqualitätsprozesse etabliert, aber diese wirksam zu halten wird zunehmend schwieriger, da sich die Unternehmensdaten-Ökosysteme weiterentwickeln.

Eine der größten Herausforderungen ist die Kluft zwischen der Verantwortung für technische und geschäftliche Regeln. Data Engineers definieren typischerweise technische Regeln, die bestätigen, ob Daten strukturell korrekt sind. Zum Beispiel die Überprüfung, dass eine HCP-ID (Healthcare Professional ID) nicht null ist, dem erforderlichen Format folgt, eindeutig ist und einem gültigen Referenzdatensatz zugeordnet werden kann. Geschäftsteams definieren Regeln, die bestimmen, ob die Daten im operativen Kontext sinnvoll sind. Zum Beispiel die Bestätigung, dass der Produktmarktanteil innerhalb eines Gebiets insgesamt 100 Prozent beträgt oder dass die Verschreibungsaktivität eines HCP mit dessen Fachgebiet und Zulassungskriterien übereinstimmt. Da technische Regeln oft in Code gepflegt werden, während geschäftliche Regeln in Glossaren, SOPs und Fachwissen abgelegt sind, wird es schwierig, sie über Datensätze und Plattformen hinweg auszurichtet und konsistent governiert zu halten.

Traditionelle Validierungstechniken haben zudem inhärente Grenzen. Prüfungen auf Nullwerte, Datentypen, Eindeutigkeit oder referenzielle Integrität bleiben unverzichtbar, können aber keinen geschäftsspezifischen Kontext erfassen. Die Validierung von Produkthierarchien, Kundensegmentierung, Gebietszuordnung oder kommerziellen Geschäftsregeln erfordert Domänenwissen, das statische Validierungslogik nur schwer abbilden kann.

Die Erstellung und Pflege von Datenqualitätsregeln ist ebenso anspruchsvoll. Jeder neue Datensatz erfordert Datenprofiling, Regeldefinition, SQL-Entwicklung, Validierung und laufende Wartung. Diese Regeln sind oft über SQL-Skripte, Pipeline-Code, Tabellen, Datenkataloge und tool spezifische Konfigurationen verteilt. Wenn sich Schemata, Geschäftsdefinitionen oder Validierungsschwellenwerte ändern, wächst der Aufwand für die Aktualisierung und Governance dieser Regeln erheblich.

Zusätzlich ist die betriebliche Auswirkung erheblich. Das Onboarding neuer Datensätze wird langsamer, da viele Aktivitäten manuell wiederholt werden. Die Pflege von Qualitätsregeln über Hunderte von Datensätzen hinweg bindet wertvolle Engineering-Ressourcen. Geschäftsanwender verlieren das Vertrauen, wenn Validierungsregeln schwer zu verstehen, nachzuverfolgen oder auf den Geschäftskontext zu beziehen sind.

Infolgedessen wird Datenqualität oft zu einer periodischen Governance-Aktivität statt zu einer kontinuierlichen, skalierbaren Fähigkeit.

Datenqualität mit generativer KI neu denken

Traditionelle Datenqualitätswerkzeuge fungieren oft als eigenständige Fähigkeiten, getrennt vom breiteren Unternehmensdaten-Ökosystem. Wenn Unternehmen KI und Analytik skalieren, muss Datenqualität in die Datenplattform selbst eingebettet sein, wo Governance, Metadaten, Herkunft und Analytik zusammenwirken.

Indegene geht dies an mit der NEXT Unified Data Platform (NEXT UDP), einer modernen, KI-gesteuerten Datenplattform, die speziell für die Lebenswissenschaften entwickelt wurde. NEXT UDP vereint fragmentierte kommerzielle, medizinische, klinische und Unternehmensdaten in einer einzigen, governierten Umgebung, damit Unternehmen den gesamten Datenlebenszyklus von der Ingestion bis zur Analytik verwalten können. NEXT UDP bietet mehrere eigenständige KI-Agenten, wie den Data Ingestion Agent, Data Quality Agent, Orchestration Agent, Data Catalog Agent und SQL Bot Generator Agent. Sie können diese eigenständig in Ihren Datenpipelines nutzen oder sie weiter für die Agent-zu-Agent-Kommunikation anpassen.

Durch die Integration von Dateningestion, Transformation, Datenqualität, Governance, Metadatenmanagement und Analytik in einer einheitlichen Plattform hilft NEXT UDP Unternehmen bei Folgendem:

  • Konsolidieren Sie fragmentierte Unternehmensdaten in einer vertrauenswürdigen Single Source of Truth.
  • Standardisieren Sie Datenqualität und Data Governance über Geschäftsbereiche hinweg.
  • Verbessern Sie Metadaten-Sichtbarkeit, Datenherkunft (Lineage) und Nachvollziehbarkeit.
  • Reduzieren Sie manuellen Aufwand in Data-Engineering-Workflows.
  • Bereitstellen vertrauenswürdiger, KI-fähiger Daten für Unternehmensanalysen und Entscheidungsfindung.

Abbildung 1: NEXT Unified Data Platform-Dashboard mit Anwendungsfällen und KI-Agenten

Abbildung 2: Technische Architektur der NEXT UDP auf AWS

Indegenes Kunden aus den Life Sciences benötigten einen Agenten, der zuverlässig in der Produktionsumgebung laufen und strenge Governance-Anforderungen erfüllen kann, während das Team bei der Umsetzung flexibel bleibt. Innerhalb der NEXT UDP treibt Generative AI einen intelligenten Data Quality Agent an, der bestehende Datenqualitätsprozesse erweitert. Der Agent steigert die Produktivität von Data Engineers und Data Stewards, indem er die Regelerstellung beschleunigt, die Validierung vereinfacht und eine konsistente Governance im Unternehmensmaßstab unterstützt.

Indegene baute den Data Quality Agent auf einer Reihe von AWS-Services auf, mit Amazon Bedrock, Strands Agents und Amazon Bedrock AgentCore im Kern. Amazon Bedrock, bietet eine Auswahl an Foundation Models (FMs) auf der Grundlage von Sicherheits-, Datenschutz- und Responsible-AI-Kontrollen. Für Organisationen in den Life Sciences ist das wichtig, da ihre Daten häufig sensible Informationen über Gesundheitsfachkräfte und Patienten enthalten. Strands Agents vereinfacht den Aufbau und die Aktualisierung des Agenten, und seine Evaluationstools helfen Indegene, die Regelgenauigkeit zu testen, was in regulierten Life-Sciences-Umgebungen entscheidend ist. Der Agent läuft auf Amazon Bedrock AgentCore, einer Plattform zum Aufbau, zur Vernetzung und zur Optimierung von Agenten im großen Maßstab, mit jedem Framework oder Modell. Die Lösung erbt außerdem bestehende AWS-Sicherheits- und Audit-Kontrollen, sodass sich Indegene auf die Datenqualitätslogik statt auf die Agenteninfrastruktur konzentrieren kann.

Was macht den Data Quality Agent einzigartig? Zwei Knowledge Bases, die kontextbewusste Datenqualität ermöglichen

Jedes Datenqualitätstool kann Nullwerte, Duplikate oder ungültige Datentypen prüfen. Services wie AWS Glue Data Quality, eine Capability von AWS Glue, empfehlen solche Regeln bereits auf Basis von Datenstatistiken, und sie bleiben ein starkes Fundament. Die schwierigere Aufgabe ist es zu bestimmen, ob die Daten ihrem Geschäftszweck sinnvoll entsprechen. Um dies zu lösen, nutzt der Data Quality Agent zwei komplementäre Knowledge Bases, die kuratiertes Domänenwissen mit Erfahrung aus kontrollierter Nutzung kombinieren.

Die erste ist eine Interne Enterprise Knowledge Base: Sie kombiniert interne Business-Glossare, Data Dictionaries, SOPs, regulatorische Vorgaben, genehmigte Datenqualitätsregeln, validierte Skripte, Profiling-Ergebnisse, historische Anomalien und Feedback von fachlichen Experten (Subject Matter Experts, SMEs). Inhalte werden aufgenommen, vektorisiert und über Retrieval Augmented Generation (RAG) abgerufen, um Datenqualitätsregeln zu generieren, die auf Unternehmensstandards und nachgewiesenen Ergebnissen basieren.

Die zweite ist eine Externe Referenz-Knowledge Base: Sie wird mithilfe genehmigter standardisierter Datenqualitäts-Frameworks, Websuche und kontrolliertem Web-Scraping aufgebaut und periodisch aktualisiert. Wenn ein Datensatz ausgewählt wird, analysiert der Agent Tabellen- und Spaltenmetadaten und ruft relevante Datenqualitätsstandards, Referenzwerte und Best Practices zur Validierung aus vertrauenswürdigen Quellen ab. Zum Beispiel kann er für eine NPI-Spalte (National Provider Identifier) die einschlägigen Qualitätsstandards identifizieren, das Format empfehlen (das erforderliche 10-stellige numerische Format) und Referenzvalidierungsprüfungen durchführen.

Wie es funktioniert

Abbildung 3: Prozessablauf des Data Quality Agent

Der Data Quality Agent führt Benutzer in einem einzigen Workflow von der Datenprofilerstellung bis zur Regelerstellung und Governance:

  1. Quelle auswählen: Verbindung zu einer unterstützten Quelle wie Amazon Redshift oder Snowflake herstellen.
  2. Datenbank und Schema auswählen: Verfügbare Tabellen durchsuchen, mit der Regelanzahl und dem aktiven Regelstatus für jede Tabelle.
  3. Profildaten: Die Lösung berechnet Qualitätsmetriken und Spaltenmuster für die Tabelle, die die Benutzer prüfen.
  4. Anomalien erkennen: Die Lösung kennzeichnet Anomalien im Vergleich zu historischen Basiswerten, und die Benutzer prüfen die Gesamtzahl der kritischen und Warnmeldungen sowie die betroffenen Datensätze.
  5. Regeln verwalten: Vorhandene Regeln einer Tabelle einsehen oder mit dem Erstellen neuer Regeln beginnen.
  6. Regelmodus wählen: Spaltenebene, Tabellenebene oder benutzerdefinierte Abfrage auswählen.
  7. Regelvorschläge generieren: Der Agent verwendet Metadaten, Profiling-Ergebnisse, Anomalien, vorhandene Regeln und Wissensbank-Kontext, um technische und geschäftliche Regeln zu empfehlen, jede mit einem Schweregrad.
  8. Prüfen, verfeinern und anwenden: Benutzer bearbeiten oder genehmigen jede Empfehlung.
  9. Code generieren und validieren: Der Agent erzeugt SQL und Python für genehmigte Regeln, und ein Validierungsschritt prüft diese.
  10. Im zentralen Regel-Repository speichern: Genehmigte Regeln stehen für Ausführung, Überwachung und Audit zur Verfügung.

Lösungsarchitektur des generativen KI-gestützten Data Quality Agent auf AWS

Das folgende Diagramm zeigt die End-to-End-Architektur des Data Quality Agents auf der NEXT UDP-Plattform, von der Anfrage des Data Stewards bis zur Regel-Ausführung.

Abbildung 4: Lösungsarchitektur des Data Quality Agents auf NEXT UDP

Data Stewards und Data Quality Analysts rufen die Lösung aus der Indegene-Anwendung auf. Die folgende Tabelle führt durch die Pipeline der Lösung und listet die AWS-Services auf, die für jede Schicht verwendet werden. Sie enthält auch andere Optionen, die die Lösung unterstützt, damit Sie sie an Ihre Datenmengen, vorhandenen Tools und operativen Präferenzen anpassen können.

Schicht AWS-/Plattform-Services Ebenfalls unterstützt Rolle
API und Zugriff AWS WAF, Amazon API Gateway, Amazon Cognito – Data Stewards und Data Quality Analysts rufen die Lösung über Amazon API Gateway auf. AWS WAF filtert Anfragen, bevor sie die API erreichen, und Amazon Cognito authentifiziert Benutzer mit OAuth 2.0 und validiert das JWT bei jeder Anfrage.
Datenquellen-Schicht Amazon Redshift Snowflake-Connector, Amazon Simple Storage Service (Amazon S3), JDBC/ODBC-Quellen Stellt strukturierte und semi-strukturierte Daten für das Data Quality Profiling und die Regel-Ausführung bereit.
Metadaten-Katalogschicht AWS Glue Data Catalog AWS Glue Crawlers zur automatischen Schemaerkennung Erfasst Datenbanken, Schemas, Tabellen, Spalten, Datentypen und Regelabdeckung.
Profiling- und Anomalieerkennungs-Schicht AWS Lambda (Python), wobei die Ergebnisse gespeichert werden in Amazon DynamoDB AWS Glue Jobs, Amazon Athena, Amazon Redshift SQL

Spaltenstatistiken wie Null-Raten,Distinct Counts, Konformität der Datentypen, Muster, Wertebereiche und Signale auf Tabellenebene werden durch einen Python-basierten Profiling-Prozess auf AWS Lambda berechnet,

Dieselbe Lambda-Funktion führt eine Anomalieerkennung durch statistischen Vergleich mit historischen Basiswerten durch, um unerwartete Verschiebungen zu kennzeichnen, wie z. B. einen Anstieg der Null-Rate oder eine Änderung der Kardinalität.

Wissens-/RAG-Schicht Amazon Bedrock Knowledge Base mit Amazon Aurora PostgreSQL (pgvector) und S3 zur Speicherung von Wissensdokumenten, die als Tools bereitgestellt werden über AgentCore Gateway, eine Funktion von Amazon Bedrock AgentCore Amazon OpenSearch Serverless als Vektorspeicher, Amazon S3 Vectors, eine Funktion von Amazon S3 Ruft Daten aus den Amazon Bedrock Knowledge Bases ab (externe Referenzstandards und internes Unternehmenswissen). AgentCore Gateway verbindet den Agenten über Tools mit seinen Wissensbasen.
LLM-Intelligenzschicht Strands Agents auf AgentCore runtime, eine Funktion von Amazon Bedrock AgentCore, Claude Sonnet 4.5 auf Amazon Bedrock, Amazon Bedrock Guardrails, AgentCore memory Andere in Amazon Bedrock verfügbare Foundation Models Generiert Data-Quality-Regeln und nutzt den zusammengestellten Kontext sowie Few-Shot-Prompting, um sowohl technische Prüfungen (Vollständigkeit, Format, Eindeutigkeit) als auch pharmaspezifische Geschäftsregeln zu empfehlen. Amazon Bedrock bietet eine Auswahl von FMs zur Regelgenerierung. AgentCore runtime stellt eine verwaltete, sitzungsisolierte Umgebung bereit, AgentCore memory speichertReviewer-Feedback, um künftige Empfehlungen zu verbessern.
Orchestrierungs- und Human-Review-Schicht AWS Step Functions, AWS Lambda, Amazon Simple Queue Service (Amazon SQS), Amazon Simple Notification Service (Amazon SNS), Amazon EventBridge – Koordiniert Profiling, LLM-Aufrufe, Regelgenerierung, Regelausführung, Statusaktualisierungen und Human Review.
Regel-Metadaten-Repository Amazon DynamoDB Amazon Aurora / Amazon Relational Database Service (Amazon RDS) Speichert Regel-ID, Name, Typ, Spalte, Status, Autor, Erstellungsdatum, Schweregrad und Versionsdetails.
Codegenerierung, Validierung und Speicherung Amazon Bedrock – Claude Sonnet 4.5 und AgentCore Code Interpreter, eine Funktionalität von Amazon Bedrock AgentCore, wobei genehmigte Skripte in Amazon S3 gespeichert werden – Generiert Python-/SQL-Code und prüft diesen vor der Speicherung
Ausführungsschicht AWS Lambda AWS Glue jobs, Amazon Athena, Amazon Redshift SQL Führt Datenqualitätsprüfungen durch und schreibt Anzahl der Verstöße sowie detaillierte Anomalien.
Monitoring- und Dashboard-Schicht Amazon CloudWatch, AgentCore Observability, eine Funktionalität von Amazon Bedrock AgentCore oder Anwendungs-UI Amazon Quick, Amazon OpenSearch Dashboards Das Datenqualitäts-Dashboard zeigt die angewendeten Regeln und deren Status sowie die Gesamtzahl der Anomalien, kritische Anomalien, durchgeführten Prüfungen und Details zu Problemen an.
Sicherheit und Governance AWS Identity and Access Management (AWS IAM), AWS Key Management Service (AWS KMS), AWS Secrets Manager, AWS CloudTrail, AWS Config, Amazon GuardDuty, AWS Security Hub, Amazon Inspector, Endpunkte für virtuelle private Clouds (VPC) – Authentifizierung, Verschlüsselung, Secrets, Audit und Bedrohungserkennung

Wie der Data Quality Agent Kontext aufbaut

Bevor der Data Quality Agent eine Validierungsregel empfiehlt, erstellt er Kontext aus sechs verschiedenen Quellen, von denen jede eine andere Frage zu den Daten beantwortet:

Kontextquelle Was sie bereitstellt Frage, die sie beantwortet
Tabellen-/Spalten-Metadaten (Katalog) Schema und Datentypen aus dem Data Catalog Was sind diese Daten?
Datenprofil Statistiken auf Spaltenebene, berechnet aus den tatsächlichen Daten, wie Null-Raten, Anzahl unterschiedlicher Werte, Wertebereiche, häufige Werte und erkannte Muster Wie sehen die Daten aktuell aus?
Ergebnisse der Anomalieerkennung Unerwartete Änderungen, die durch den Vergleich des neuesten Profils mit historischen Baselines erkannt wurden, wie ein plötzlicher Anstieg von Null-Werten, eine Änderung der Anzahl unterschiedlicher Werte oder außerhalb des Bereichs liegende Werte Was hat sich geändert oder sieht falsch aus?
Vorhandene Active-Data-Quality-Regeln Regeln, die bereits auf Tabellen- oder Spaltenebene angewendet werden, abgerufen aus dem Regel-Repository Welche Regeln existieren bereits, damit wir nichts duplizieren oder Konflikte verursachen?
Externe Referenz-Wissensbasis Universelle, öffentlich etablierte Datenqualitätsstandards und bewährte Validierungsverfahren (zum Beispiel Format- und Strukturregeln für Kennungen wie den National Provider Identifier) Welche Industriestandards gelten für dieses Feld?
Interne Unternehmens-Wissensbasis Organisationsspezifische Muster für Datenqualitätsregeln, früheres Feedback von Prüfern sowie kuratierte Bibliotheken mit Geschäfts-/Technikregeln Wie definiert diese Organisation Qualität?

Zusammen ermöglichen diese Quellen dem Agenten, wie ein erfahrener Data Steward zu denken. Jede Empfehlung stützt sich darauf, was die Daten ist, was die Standards verlangen, wie das Unternehmen Qualität definiert und was bereits umgesetzt wurde.

Was die Lösung leistet

Der Data Quality Agent generiert mehrere Kategorien von Checks und hält die Data Stewards in der Kontrolle über die Ergebnisse.

Generierung von Anomalie-Checks

Die Lösung generiert Anomalie-Checks, die Werte erkennen, die technisch gültig sind, aber nicht dem Verhalten eines pharmazeutischen Marktes entsprechen. Dazu gehören negative Wechselprozentsätze, Marktanteile, die innerhalb eines Marktes nicht zu 100 Prozent aufaddieren, inkonsistente Arzneimittel-Rankings (zum Beispiel ein Arzneimittel auf Platz eins mit einem geringeren Anteil als das Arzneimittel auf Platz zwei), Bewertungswerte außerhalb der definierten Skala sowie Panelgrößen, die zu klein sind oder nicht mit der Anzahl der Befragten übereinstimmen.

Kontextbezogene Regelgenerierung mit RAG

Der Data Quality Agent generiert Regel-Empfehlungen in drei Modi:

Regeltyp Beschreibung
Spaltenebene (Column Level) Erzeugt Datenqualitätsregeln für eine bestimmte, individuelle Spalte, die der Nutzer auswählt. Der Agent liest die Metadaten dieser Spalte sowie Profiling-Signale, um Prüfungen wie Datentypvalidierung, Null- und Pflichtfeldprüfungen, Längen- und Bereichsvalidierung, Muster-/Formatvalidierung und Eindeutigkeitsprüfungen vorzuschlagen.
Tabellenebene (Table Level) Erzeugt Datenqualitätsregeln für die Tabelle als Ganzes, gestützt auf die Metadaten der Tabelle und die Beziehungen zwischen ihren Spalten. Dies umfasst Datensatzkonsistenz, Duplikaterkennung, spaltenübergreifende Validierung, referenzielle Integritätsprüfungen und tabellenweite geschäftliche Konsistenz.
Benutzerdefinierte Abfrage (Custom Query) Erzeugt SQL-basierte Regeln aus Eingaben in natürlicher Sprache. Der Nutzer beschreibt die geschäftliche Validierung in einfachem Englisch, und der Agent erzeugt das entsprechende SQL, das anschließend dialogisch verfeinert oder direkt bearbeitet werden kann, um komplexe Validierungen zu unterstützen, die außerhalb der Standardprüfungen auf Spalten- und Tabellenebene liegen.

Die Oberfläche „Create New Quality Rule“ bietet eigene Modi für Column Level, Table Level und Custom Query.

Die Plattform unterstützt sowohl technische Validierungen als auch geschäftsspezifische Qualitätsprüfungen.

Für technische Regeln erzeugt der Agent Prüfungen, die bestätigen, dass die Daten strukturell korrekt sind. Dazu gehören Null-Prüfungen für Pflichtfelder, Datentypvalidierung, Bereichsvalidierung für numerische Werte und Datumswerte, Mustervalidierung für formatierte Felder wie Kennungen und Codes, Duplikaterkennung sowie referenzielle Integritätsprüfungen zwischen verwandten Tabellen.

Für Geschäftsregeln erzeugt der Agent Prüfungen aus dem Bereich Life Sciences, die bestätigen, dass die Daten mit der Funktionsweise des Unternehmens übereinstimmen. Dazu gehören die Konsistenz der Kontozuordnung (z. B. ein Gesundheitsdienstleister, der mit der richtigen Organisation verknüpft ist), Segmentierungslogik, Eignungskriterien sowie die Validierung von Marktanteilen und Produktanteilen (z. B. Anteile innerhalb eines Gebiets, die 100% nicht überschreiten).

Praxisbeispiel

Betrachten Sie eine Tabelle „HCP Product Performance“ mit den Spalten HCP_ID, Specialty, Territory_ID, Product_ID, Prescription_Volume, Market_Share_Pct, Switch_Pct, Rating_Scale und Reporting_Month. Unter Verwendung des Tabellenprofils und der beiden Knowledge Bases erzeugt und führt der Data Quality Agent die folgenden Prüfungen durch:

  1. Durchgeführte Anomalieprüfungen.
    • Negativer Wechselpercentage (Switch Percentage).
    • Gesamt mismatch der Marktanteile.
    • Plötzlicher Anstieg oder Rückgang des Verschreibungsvolumens.
    • Inkonsistente Produktrankings.
    • Ungültige Werte der Bewertungsskala.
  2. Erzeugte technische Regeln.
    • HCP_ID darf nicht null oder dupliziert sein.
    • Prescription_Volume muss numerisch und nicht negativ sein.
    • Market_Share_Pct und Switch_Pct müssen zwischen 0 und 100 liegen.
    • Reporting_Month muss dem erforderlichen Datumsformat entsprechen.
    • Territory_ID und Product_ID müssen mit ihren Referenztabellen übereinstimmen.
  3. Erzeugte Geschäftsregeln.
    • Die Marktanteile aller Produkte müssen für jedes Gebiet und jeden Berichtsmonat insgesamt 100 Prozent ergeben.
    • Die Produkt-Eignung des HCP muss mit dessen Fachrichtung übereinstimmen.
    • Nur geeignete HCPs dürfen in das Zielsegment aufgenommen werden.

KI-gestützte Schweregrad-Empfehlung

Die Lösung empfiehlt den Schweregrad auf Grundlage des Datensatzkontexts, des Regeltyps und der geschäftlichen Auswirkungen. Schweregradkategorien helfen bei der Unterscheidung zwischen:

  • Kritisch Probleme, wie ungültige kommerzielle Metriken, falsche Kennungen oder Verstöße gegen Geschäftsregeln.
  • Basic „validations, including schema conformance, null checks, and length validation.“
  • Komplex Validierungen, die komplexe SQL-Logik, Regeln für mehrere Spalten oder domänenspezifische Geschäftsprüfungen beinhalten.
  • Information: Die Validierung wurde ausschließlich zu Zwecken der Sensibilisierung und Transparenz durchgeführt. Es sind keine Maßnahmen erforderlich, sofern keine Bedenken festgestellt werden.

SQL/Python-Codegenerierung und ETL-Integration

Nachdem eine Regel genehmigt wurde, generiert das LLM den entsprechenden SQL-, Python- und PySpark-Code. Bevor er gespeichert wird, wird der Code automatisch validiert – mit Syntaxprüfungen, einem Abgleich gegen das Zielschema und einem Testlauf auf Beispieldaten, sofern die Sprache dies unterstützt. Das bedeutet, dass bestehende Extract-, Transform- and Load- (ETL)- und Orchestrierungstools sie als Teil der aktuellen Datenpipelines ausführen können.

KI-gestützte Validierung

Einsatz eines LLM als Validierungsagenten zur Überprüfung von Datenqualitäts-Regeln (DQ)/Skripten, die von einem anderen LLM erzeugt wurden, um Halluzinationen zu reduzieren und die Governance zu verbessern. Des Weiteren, Amazon Bedrock bietet „Sicherheit, Datenschutz und Kontrollen für verantwortungsvolle KI“. Prompts und Ausgaben werden nicht zum Trainieren der Modelle verwendet und nicht mit Modellanbietern geteilt. Amazon Bedrock ist HIPAA-berechtigt und in Compliance-Programme wie SOC, ISO und GDPR einbezogen, was Indegene hilft, die Anforderungen seiner Life-Sciences-Kunden zu erfüllen. Amazon Bedrock Guardrails fügt konfigurierbare Schutzmaßnahmen für Modelleingaben und -ausgaben hinzu. Es erkennt und maskiert personenbezogene Daten (PII), blockiert schädliche Inhalte und Prompt-Injection-Angriffe und verwendet kontextuelle Grounding-Prüfungen, um Antworten zu kennzeichnen, die durch das abgerufene Wissen nicht gestützt werden.

Menschliche Aufsicht bleibt zentral

Der Data Quality Agent ist darauf ausgelegt, bestehende Datenqualitätsprozesse zu ergänzen. Jede generierte Regel erhält einen Confidence-Score. Nur Regeln mit hoher Konfidenz und geringem Risiko werden automatisch genehmigt, während kritische und Geschäftsregeln immer zur Prüfung an einen SME gehen. Jede Entscheidung wird im Regel-Repository aufgezeichnet, sodass das Regelmanagement kontrolliert, nachvollziehbar und an Unternehmensstandards ausgerichtet bleibt.

Operative Wirkung und Geschäftswert liefern

Im Produktivbetrieb, über Indegenes Deployments von NEXT UDP für Life-Sciences-Kunden hinweg, hat der Data Quality Agent den Aufwand zur Definition und Implementierung von Datenqualitätsregeln von etwa 30 Stunden auf etwa 4 Stunden pro Datensatz reduziert. Das sind etwa 85 Prozent weniger Aufwand bzw. etwa 7x höhere Produktivität. Das Onboarding einer neuen Tabelle dauert jetzt 2–4 Stunden statt 2–5 Arbeitstage. Data Engineers und Data Stewards verbringen ihre Zeit nun mit dem Prüfen und Genehmigen von Regeln, statt sie von Grund auf zu schreiben.

Wichtige Ergebnisse umfassen:

  • Weniger manueller Aufwand durch KI-generierte Regeln, SQL und Python.
  • Schnelleres Onboarding neuer Tabellen, Schemas und Geschäftsbereiche.
  • Konsistentere Regeln, basierend auf genehmigten Standards, Unternehmenswissen und bestehenden Regeln.
  • Bessere Zusammenarbeit zwischen Geschäfts- und Technikteams durch den Review-, Refine- und Approve-Workflow.
  • Frühere Erkennung von Datenqualitätsproblemen durch automatisiertes Profiling und Anomalieerkennung.

Tabelle 1: Leistung und Skalierung

Metrik Auswirkung*
Enterprise-Profiling 25–50 Schemas; 500–2,000 Tabellen; 10,000–50,000 Spalten
Tabellenprofiling 45–90 Sek (~1M Zeilen); 2–5 Min (~10M Zeilen)
KI-Regelgenerierung 20–45 Sek pro Tabelle
SQL-Generierung 3–8 Sek pro Regel; 20–60 Sek für 10–15 Regeln
Regelausführung 20–30 Sek (Standard); 1–3 Min (komplexes SQL)
Zentrales Regel-Repository 1,000–10,000 Regeln
DQ-Prüfungen pro Ausführung 100–500 pro Domäne. Skalierbar auf 1,000+

*Geschätzt aus Indegenes Produktionsbereitstellungen

Tabelle 2: Regelqualität und Validierung

Metrik Auswirkung* Was bedeutet das
Genauigkeit der Regelvorschläge 80–90% Vorschläge, die technisch gültig sind und korrekt auf die Spalte oder Tabelle anwendbar sind
Akzeptanzrate der Regeln 60–75% Vorschläge, die ohne Änderungen genehmigt wurden
Verfeinerungsrate der Regeln / Human Override Rate 20–35% Vorschläge, die genehmigt wurden, nachdem der Prüfer die Logik oder Schwellenwerte bearbeitet hatte
SQL-Gültigkeit 90–97% (schema-basiert); 80–90% (benutzerdefiniertes SQL) Generiertes SQL, das die Validierung beim ersten Versuch besteht
Genauigkeit der Empfehlung des Schweregrads 75–85% Empfohlener Schweregrad, der dem endgültigen Schweregrad des Prüfers entspricht
Geschäftliche Relevanz (SME-Bewertung) 4.0–4.5 / 5 SME-Bewertung, wie nützlich die empfohlenen Regeln für das Geschäft sind
Halluzinationsrate <5–8% Vorschläge, die nicht existierende Spalten oder falsche Geschäftslogik referenzieren

*Geschätzt aus Indegenes Produktionsbereitstellungen

Tabelle 3: Betriebliche Effizienz

Metrik Auswirkung*
Manuelle Erstellung von SQL-Regeln 60–80% Reduzierung des End-to-End-Aufwands, einschließlich Überprüfung und Verfeinerung
Onboarding neuer Tabellen 2–5 Arbeitstage → 2–4 Stunden
Wiederverwendung von Regeln 40–60 % der neuen Regeln aus vorhandenen genehmigten Regeln übernommen
LLM-Kostenoptimierung Bis zu 90 % geringere Eingabe-Token-Kosten bei zwischengespeichertem Kontext mit Amazon Bedrock Prompt Caching
Compute-Optimierung ~45–51 % Reduktion durch Metadata-First-Profiling

*Geschätzt aus Indegenes Produktionsbereitstellungen

Tabelle 4: Manuell im Vergleich zu agentenunterstützter Datenqualität

Aktivität Traditioneller DQ-Ansatz Generative-KI-gestützter DQ-Ansatz Auswirkung*
Regel-Discovery Manuelle Prüfung von Schemas, Profiling-Berichten, Stichprobendaten und Dokumentation. Vorhandene Tools können grundlegende Profiling-Prüfungen generieren, übersehen aber oft domänenspezifische Geschäftslogik Der Agent nutzt Metadaten, Profiling-Ergebnisse, Tabellenkontext, vorhandene Regelmuster und optionale Geschäftsbeschreibungen, um technische und life-sciences-spezifische Datenqualitätsregeln zu empfehlen 80-85 % schneller
Generierung technischer Regeln Manuelle Erstellung von Null-, Datentyp-, Bereichs-, Eindeutigkeits- und Integritätsregeln Automatisierte Regelgenerierung mit menschlicher Prüfung 80-85 % schneller
Definition von Geschäftsregeln Die Validierung basiert oft auf technischen Metadaten mit begrenztem Verständnis von Produkt-, Segment-, Kunden- oder Berechtigungslogik. Der Geschäftskontext hängt stark von Diskussionen mit SMEs und der manuellen Übersetzung in Validierungslogik ab Nutzt RAG, um Geschäftsglossare, Data Dictionaries, vorhandene Regeln und historische Anomalie-Muster abzurufen und kontextbewusste Empfehlungen zu generieren. 70-75 % schneller
Regelerstellung und SQL/Python-Entwicklung Ingenieure definieren Validierungsregeln manuell und führen Codierung, Debugging und Tests für jeden Datensatz oder jede Geschäftsanforderung durch. Automatisch generierte Regeln auf Column Level-, Table Level- und Custom Query-Ebene sowie Generierung von SQL/Python für die ausgewählten DQ-Prüfungen. Nutzer können die Empfehlungen prüfen, verfeinern und anwenden. 80-85 % schneller bis zum ersten funktionierenden Code
Regelvalidierung Regeln werden manuell validiert, was mehrere Iterationen der Abfrageausführung und Verfeinerung erfordert Der Agent bewertet, verfeinert und optimiert Regeln automatisch 80-85 % schneller
Regelwiederverwendung Manuelles Kopieren, Anpassen und Wiederverwenden Genehmigte Regeln und Feedback, die zum Wissen des Agenten hinzugefügt werden 50% schnellere Onboarding für neue Datensätze in einer bestehenden Domäne
Anomalieerkennung Manuelle Analyse von Profiling-Ausgaben und Datensätzen Automatisierte Anomalieerkennung mit Erklärungen im Geschäftskontext 80-85% schneller
Schweregrad-Klassifizierung Der Schweregrad einer Regel und ihre geschäftliche Auswirkung werden manuell bestimmt, was zu inkonsistenter Priorisierung führen kann. Empfiehlt den Schweregrad auf Grundlage von Regeltyp, Datensatz-Kontext und geschäftlicher Auswirkung. Konsistenter, kontextbasierter Schweregrad
Governance & Nachverfolgbarkeit Regeln sind oft auf Tools, Skripte, Tabellen oder Kataloge verteilt, was Governance und Nachverfolgbarkeit erschwert. Genehmigungs- und Prüf-Workflows unterscheiden sich von Team zu Team. Zentrales, versioniertes Regel-Repository mit Eigentümerschaft 85% weniger Wartungsaufwand
Manueller Aufwand SMEs und Ingenieure treiben jeden Schritt voran SMEs konzentrieren sich auf Prüfung und Genehmigung. Der Agent übernimmt Erkennung und Generierung Höhere Produktivität & Skalierbarkeit, ~7x Produktivität

*Geschätzt aus Indegenes Produktionsbereitstellungen

Ausblick

Da Unternehmens-Datenökosysteme weiter wachsen, wird die Aufrechterhaltung einer konsistenten und skalierbaren Datenqualität mit manueller Regelerstellung und fragmentierten Governance-Prozessen zunehmend schwieriger. Generative KI bietet die Möglichkeit, diese Workflows zu erweitern, indem sie die Regelgenerierung beschleunigt, Geschäftskontext einbezieht und geregelte Entscheidungsfindung unterstützt.

Der generative KI-basierte Data Quality Agent innerhalb der NEXT Unified Data Platform zeigt, wie große Sprachmodelle, RAG und zentrale Regel-Governance zusammenarbeiten können, um das Datenqualitätsmanagement zu vereinfachen, während Menschen die Kontrolle über Prüfung und Genehmigung behalten. Künftige Erweiterungen werden auf dieser Grundlage aufbauen, darunter:

  • KI-unterstützte Korreturempfehlungen, die Benutzern bei der Behebung fehlgeschlagener Datenqualitätsprüfungen helfen.
  • Ursachenanalyse zur Identifizierung wiederkehrender Anomalie-Muster und zur Unterstützung schnellerer Untersuchung wiederholter Datenqualitätsprobleme.

Während sich diese Fähigkeiten weiterentwickeln, bleibt der Fokus derselbe: Organisationen dabei zu helfen, die Datenqualität durch KI-unterstützte Automatisierung zu verbessern und gleichzeitig Governance, Transparenz und geschäftliche Aufsicht zu wahren.

Weitere Informationen finden Sie in den folgenden Ressourcen:

 


Über die Autoren

Originalquelle

AWS Machine Learning

Hinweise zum Inhalt

Originalveröffentlichung und Rechte liegen bei der Quelle.

Maschinelle Übersetzung · Original beachten