Dieser Beitrag wurde in Zusammenarbeit mit Shravan K S von Indegene Limited verfasst.
Unternehmens-KI eröffnet Unternehmen in den Lebenswissenschaften neue Möglichkeiten, die Entscheidungsfindung in kommerziellen, medizinischen, marktzugangsbezogenen und anderen Geschäftsbereichen zu verbessern. Doch die Qualität jedes KI-Modells, Dashboards und jeder geschäftlichen Erkenntnis hängt von einer Sache ab: vertrauenswürdigen Daten. Da Unternehmensdaten über mehrere Plattformen, Pipelines und Geschäftsbereiche hinweg wachsen, wird die Aufrechterhaltung einer konsistenten Datenqualität zunehmend schwierig. Die manuelle Erstellung von Datenqualitätsregeln, fragmentierte Governance und sich wandelnde Geschäftsdefinitionen erschweren die Skalierung der Datenqualität im gesamten Unternehmen.
Dieser Beitrag untersucht, wie Indegene einen produktionsreifen, durch große Sprachmodelle (LLMs) gestützten Data Quality Agent innerhalb seiner NEXT Unified Data Platform (NEXT UDP) auf AWS entwickelt hat. Der Agent generiert kontextbezogene Datenqualitätsregeln, validiert sie und erstellt ausführungsreifen SQL- und Python-Code unter zentralisierter Human-in-the-Loop-Governance. Diese Funktionen helfen Unternehmen gemeinsam, die Datenqualität im Unternehmensmaßstab zu verbessern und gleichzeitig den Aufwand für den Aufbau und die Pflege von Datenqualitätsprogrammen zu reduzieren.
Über Indegene
Indegene Limited (BSE: 544172, NSE: INDGN) ist der strategische operative Partner der Life-Sciences-Branche und orchestriert kommerzielle, medizinische, F&E- und Sicherheitsabläufe über den gesamten Produktlebenszyklus. Von den Top 20 Biopharma-Unternehmen der Welt vertraut genutzt, hilft Indegene, komplexe, streng regulierte Workflows in globalem Maßstab zu betreiben. Indegene kombiniert tiefgreifende Life-Sciences-Expertise mit KI-integrierten Plattformen und governierten Betriebsmodellen, um Geschwindigkeit, Konsistenz und Compliance in mission-kritischen Abläufen zu verbessern. Durch die Integration von Technologie in die Art und Weise, wie Arbeit ausgeführt und skaliert wird, hilft Indegene Unternehmen in den Lebenswissenschaften, messbare Ergebnisse in regulierten Umgebungen zu erzielen.
Warum konventionelle Datenqualitätsprogramme scheitern
Die meisten Unternehmen haben Datenqualitätsprozesse etabliert, aber diese wirksam zu halten wird zunehmend schwieriger, da sich die Unternehmensdaten-Ökosysteme weiterentwickeln.
Eine der größten Herausforderungen ist die Kluft zwischen der Verantwortung für technische und geschäftliche Regeln. Data Engineers definieren typischerweise technische Regeln, die bestätigen, ob Daten strukturell korrekt sind. Zum Beispiel die Überprüfung, dass eine HCP-ID (Healthcare Professional ID) nicht null ist, dem erforderlichen Format folgt, eindeutig ist und einem gültigen Referenzdatensatz zugeordnet werden kann. Geschäftsteams definieren Regeln, die bestimmen, ob die Daten im operativen Kontext sinnvoll sind. Zum Beispiel die Bestätigung, dass der Produktmarktanteil innerhalb eines Gebiets insgesamt 100 Prozent beträgt oder dass die Verschreibungsaktivität eines HCP mit dessen Fachgebiet und Zulassungskriterien übereinstimmt. Da technische Regeln oft in Code gepflegt werden, während geschäftliche Regeln in Glossaren, SOPs und Fachwissen abgelegt sind, wird es schwierig, sie über Datensätze und Plattformen hinweg auszurichtet und konsistent governiert zu halten.
Traditionelle Validierungstechniken haben zudem inhärente Grenzen. Prüfungen auf Nullwerte, Datentypen, Eindeutigkeit oder referenzielle Integrität bleiben unverzichtbar, können aber keinen geschäftsspezifischen Kontext erfassen. Die Validierung von Produkthierarchien, Kundensegmentierung, Gebietszuordnung oder kommerziellen Geschäftsregeln erfordert Domänenwissen, das statische Validierungslogik nur schwer abbilden kann.
Die Erstellung und Pflege von Datenqualitätsregeln ist ebenso anspruchsvoll. Jeder neue Datensatz erfordert Datenprofiling, Regeldefinition, SQL-Entwicklung, Validierung und laufende Wartung. Diese Regeln sind oft über SQL-Skripte, Pipeline-Code, Tabellen, Datenkataloge und tool spezifische Konfigurationen verteilt. Wenn sich Schemata, Geschäftsdefinitionen oder Validierungsschwellenwerte ändern, wächst der Aufwand für die Aktualisierung und Governance dieser Regeln erheblich.
Zusätzlich ist die betriebliche Auswirkung erheblich. Das Onboarding neuer Datensätze wird langsamer, da viele Aktivitäten manuell wiederholt werden. Die Pflege von Qualitätsregeln über Hunderte von Datensätzen hinweg bindet wertvolle Engineering-Ressourcen. Geschäftsanwender verlieren das Vertrauen, wenn Validierungsregeln schwer zu verstehen, nachzuverfolgen oder auf den Geschäftskontext zu beziehen sind.
Infolgedessen wird Datenqualität oft zu einer periodischen Governance-Aktivität statt zu einer kontinuierlichen, skalierbaren Fähigkeit.
Datenqualität mit generativer KI neu denken
Traditionelle Datenqualitätswerkzeuge fungieren oft als eigenständige Fähigkeiten, getrennt vom breiteren Unternehmensdaten-Ökosystem. Wenn Unternehmen KI und Analytik skalieren, muss Datenqualität in die Datenplattform selbst eingebettet sein, wo Governance, Metadaten, Herkunft und Analytik zusammenwirken.
Indegene geht dies an mit der NEXT Unified Data Platform (NEXT UDP), einer modernen, KI-gesteuerten Datenplattform, die speziell für die Lebenswissenschaften entwickelt wurde. NEXT UDP vereint fragmentierte kommerzielle, medizinische, klinische und Unternehmensdaten in einer einzigen, governierten Umgebung, damit Unternehmen den gesamten Datenlebenszyklus von der Ingestion bis zur Analytik verwalten können. NEXT UDP bietet mehrere eigenständige KI-Agenten, wie den Data Ingestion Agent, Data Quality Agent, Orchestration Agent, Data Catalog Agent und SQL Bot Generator Agent. Sie können diese eigenständig in Ihren Datenpipelines nutzen oder sie weiter für die Agent-zu-Agent-Kommunikation anpassen.
Durch die Integration von Dateningestion, Transformation, Datenqualität, Governance, Metadatenmanagement und Analytik in einer einheitlichen Plattform hilft NEXT UDP Unternehmen bei Folgendem:
- Konsolidieren Sie fragmentierte Unternehmensdaten in einer vertrauenswürdigen Single Source of Truth.
- Standardisieren Sie Datenqualität und Data Governance über Geschäftsbereiche hinweg.
- Verbessern Sie Metadaten-Sichtbarkeit, Datenherkunft (Lineage) und Nachvollziehbarkeit.
- Reduzieren Sie manuellen Aufwand in Data-Engineering-Workflows.
- Bereitstellen vertrauenswürdiger, KI-fähiger Daten für Unternehmensanalysen und Entscheidungsfindung.
Abbildung 1: NEXT Unified Data Platform-Dashboard mit Anwendungsfällen und KI-Agenten
Abbildung 2: Technische Architektur der NEXT UDP auf AWS
Indegenes Kunden aus den Life Sciences benötigten einen Agenten, der zuverlässig in der Produktionsumgebung laufen und strenge Governance-Anforderungen erfüllen kann, während das Team bei der Umsetzung flexibel bleibt. Innerhalb der NEXT UDP treibt Generative AI einen intelligenten Data Quality Agent an, der bestehende Datenqualitätsprozesse erweitert. Der Agent steigert die Produktivität von Data Engineers und Data Stewards, indem er die Regelerstellung beschleunigt, die Validierung vereinfacht und eine konsistente Governance im Unternehmensmaßstab unterstützt.
Indegene baute den Data Quality Agent auf einer Reihe von AWS-Services auf, mit Amazon Bedrock, Strands Agents und Amazon Bedrock AgentCore im Kern. Amazon Bedrock, bietet eine Auswahl an Foundation Models (FMs) auf der Grundlage von Sicherheits-, Datenschutz- und Responsible-AI-Kontrollen. Für Organisationen in den Life Sciences ist das wichtig, da ihre Daten häufig sensible Informationen über Gesundheitsfachkräfte und Patienten enthalten. Strands Agents vereinfacht den Aufbau und die Aktualisierung des Agenten, und seine Evaluationstools helfen Indegene, die Regelgenauigkeit zu testen, was in regulierten Life-Sciences-Umgebungen entscheidend ist. Der Agent läuft auf Amazon Bedrock AgentCore, einer Plattform zum Aufbau, zur Vernetzung und zur Optimierung von Agenten im großen Maßstab, mit jedem Framework oder Modell. Die Lösung erbt außerdem bestehende AWS-Sicherheits- und Audit-Kontrollen, sodass sich Indegene auf die Datenqualitätslogik statt auf die Agenteninfrastruktur konzentrieren kann.
Was macht den Data Quality Agent einzigartig? Zwei Knowledge Bases, die kontextbewusste Datenqualität ermöglichen
Jedes Datenqualitätstool kann Nullwerte, Duplikate oder ungültige Datentypen prüfen. Services wie AWS Glue Data Quality, eine Capability von AWS Glue, empfehlen solche Regeln bereits auf Basis von Datenstatistiken, und sie bleiben ein starkes Fundament. Die schwierigere Aufgabe ist es zu bestimmen, ob die Daten ihrem Geschäftszweck sinnvoll entsprechen. Um dies zu lösen, nutzt der Data Quality Agent zwei komplementäre Knowledge Bases, die kuratiertes Domänenwissen mit Erfahrung aus kontrollierter Nutzung kombinieren.
Die erste ist eine Interne Enterprise Knowledge Base: Sie kombiniert interne Business-Glossare, Data Dictionaries, SOPs, regulatorische Vorgaben, genehmigte Datenqualitätsregeln, validierte Skripte, Profiling-Ergebnisse, historische Anomalien und Feedback von fachlichen Experten (Subject Matter Experts, SMEs). Inhalte werden aufgenommen, vektorisiert und über Retrieval Augmented Generation (RAG) abgerufen, um Datenqualitätsregeln zu generieren, die auf Unternehmensstandards und nachgewiesenen Ergebnissen basieren.
Die zweite ist eine Externe Referenz-Knowledge Base: Sie wird mithilfe genehmigter standardisierter Datenqualitäts-Frameworks, Websuche und kontrolliertem Web-Scraping aufgebaut und periodisch aktualisiert. Wenn ein Datensatz ausgewählt wird, analysiert der Agent Tabellen- und Spaltenmetadaten und ruft relevante Datenqualitätsstandards, Referenzwerte und Best Practices zur Validierung aus vertrauenswürdigen Quellen ab. Zum Beispiel kann er für eine NPI-Spalte (National Provider Identifier) die einschlägigen Qualitätsstandards identifizieren, das Format empfehlen (das erforderliche 10-stellige numerische Format) und Referenzvalidierungsprüfungen durchführen.
Wie es funktioniert
Abbildung 3: Prozessablauf des Data Quality Agent
Der Data Quality Agent führt Benutzer in einem einzigen Workflow von der Datenprofilerstellung bis zur Regelerstellung und Governance:
- Quelle auswählen: Verbindung zu einer unterstützten Quelle wie Amazon Redshift oder Snowflake herstellen.
- Datenbank und Schema auswählen: Verfügbare Tabellen durchsuchen, mit der Regelanzahl und dem aktiven Regelstatus für jede Tabelle.
- Profildaten: Die Lösung berechnet Qualitätsmetriken und Spaltenmuster für die Tabelle, die die Benutzer prüfen.
- Anomalien erkennen: Die Lösung kennzeichnet Anomalien im Vergleich zu historischen Basiswerten, und die Benutzer prüfen die Gesamtzahl der kritischen und Warnmeldungen sowie die betroffenen Datensätze.
- Regeln verwalten: Vorhandene Regeln einer Tabelle einsehen oder mit dem Erstellen neuer Regeln beginnen.
- Regelmodus wählen: Spaltenebene, Tabellenebene oder benutzerdefinierte Abfrage auswählen.
- Regelvorschläge generieren: Der Agent verwendet Metadaten, Profiling-Ergebnisse, Anomalien, vorhandene Regeln und Wissensbank-Kontext, um technische und geschäftliche Regeln zu empfehlen, jede mit einem Schweregrad.
- Prüfen, verfeinern und anwenden: Benutzer bearbeiten oder genehmigen jede Empfehlung.
- Code generieren und validieren: Der Agent erzeugt SQL und Python für genehmigte Regeln, und ein Validierungsschritt prüft diese.
- Im zentralen Regel-Repository speichern: Genehmigte Regeln stehen für Ausführung, Überwachung und Audit zur Verfügung.
Lösungsarchitektur des generativen KI-gestützten Data Quality Agent auf AWS
Das folgende Diagramm zeigt die End-to-End-Architektur des Data Quality Agents auf der NEXT UDP-Plattform, von der Anfrage des Data Stewards bis zur Regel-Ausführung.
Abbildung 4: Lösungsarchitektur des Data Quality Agents auf NEXT UDP
Data Stewards und Data Quality Analysts rufen die Lösung aus der Indegene-Anwendung auf. Die folgende Tabelle führt durch die Pipeline der Lösung und listet die AWS-Services auf, die für jede Schicht verwendet werden. Sie enthält auch andere Optionen, die die Lösung unterstützt, damit Sie sie an Ihre Datenmengen, vorhandenen Tools und operativen Präferenzen anpassen können.
| Schicht | AWS-/Plattform-Services | Ebenfalls unterstützt | Rolle |
| API und Zugriff | AWS WAF, Amazon API Gateway, Amazon Cognito | – | Data Stewards und Data Quality Analysts rufen die Lösung über Amazon API Gateway auf. AWS WAF filtert Anfragen, bevor sie die API erreichen, und Amazon Cognito authentifiziert Benutzer mit OAuth 2.0 und validiert das JWT bei jeder Anfrage. |
| Datenquellen-Schicht | Amazon Redshift | Snowflake-Connector, Amazon Simple Storage Service (Amazon S3), JDBC/ODBC-Quellen | Stellt strukturierte und semi-strukturierte Daten für das Data Quality Profiling und die Regel-Ausführung bereit. |
| Metadaten-Katalogschicht | AWS Glue Data Catalog | AWS Glue Crawlers zur automatischen Schemaerkennung | Erfasst Datenbanken, Schemas, Tabellen, Spalten, Datentypen und Regelabdeckung. |
| Profiling- und Anomalieerkennungs-Schicht | AWS Lambda (Python), wobei die Ergebnisse gespeichert werden in Amazon DynamoDB | AWS Glue Jobs, Amazon Athena, Amazon Redshift SQL |
Spaltenstatistiken wie Null-Raten,Distinct Counts, Konformität der Datentypen, Muster, Wertebereiche und Signale auf Tabellenebene werden durch einen Python-basierten Profiling-Prozess auf AWS Lambda berechnet, Dieselbe Lambda-Funktion führt eine Anomalieerkennung durch statistischen Vergleich mit historischen Basiswerten durch, um unerwartete Verschiebungen zu kennzeichnen, wie z. B. einen Anstieg der Null-Rate oder eine Änderung der Kardinalität. |
| Wissens-/RAG-Schicht | Amazon Bedrock Knowledge Base mit Amazon Aurora PostgreSQL (pgvector) und S3 zur Speicherung von Wissensdokumenten, die als Tools bereitgestellt werden über AgentCore Gateway, eine Funktion von Amazon Bedrock AgentCore | Amazon OpenSearch Serverless als Vektorspeicher, Amazon S3 Vectors, eine Funktion von Amazon S3 | Ruft Daten aus den Amazon Bedrock Knowledge Bases ab (externe Referenzstandards und internes Unternehmenswissen). AgentCore Gateway verbindet den Agenten über Tools mit seinen Wissensbasen. |
| LLM-Intelligenzschicht | Strands Agents auf AgentCore runtime, eine Funktion von Amazon Bedrock AgentCore, Claude Sonnet 4.5 auf Amazon Bedrock, Amazon Bedrock Guardrails, AgentCore memory | Andere in Amazon Bedrock verfügbare Foundation Models | Generiert Data-Quality-Regeln und nutzt den zusammengestellten Kontext sowie Few-Shot-Prompting, um sowohl technische Prüfungen (Vollständigkeit, Format, Eindeutigkeit) als auch pharmaspezifische Geschäftsregeln zu empfehlen. Amazon Bedrock bietet eine Auswahl von FMs zur Regelgenerierung. AgentCore runtime stellt eine verwaltete, sitzungsisolierte Umgebung bereit, AgentCore memory speichertReviewer-Feedback, um künftige Empfehlungen zu verbessern. |
| Orchestrierungs- und Human-Review-Schicht | AWS Step Functions, AWS Lambda, Amazon Simple Queue Service (Amazon SQS), Amazon Simple Notification Service (Amazon SNS), Amazon EventBridge | – | Koordiniert Profiling, LLM-Aufrufe, Regelgenerierung, Regelausführung, Statusaktualisierungen und Human Review. |
| Regel-Metadaten-Repository | Amazon DynamoDB | Amazon Aurora / Amazon Relational Database Service (Amazon RDS) | Speichert Regel-ID, Name, Typ, Spalte, Status, Autor, Erstellungsdatum, Schweregrad und Versionsdetails. |
| Codegenerierung, Validierung und Speicherung | Amazon Bedrock – Claude Sonnet 4.5 und AgentCore Code Interpreter, eine Funktionalität von Amazon Bedrock AgentCore, wobei genehmigte Skripte in Amazon S3 gespeichert werden | – | Generiert Python-/SQL-Code und prüft diesen vor der Speicherung |
| Ausführungsschicht | AWS Lambda | AWS Glue jobs, Amazon Athena, Amazon Redshift SQL | Führt Datenqualitätsprüfungen durch und schreibt Anzahl der Verstöße sowie detaillierte Anomalien. |
| Monitoring- und Dashboard-Schicht | Amazon CloudWatch, AgentCore Observability, eine Funktionalität von Amazon Bedrock AgentCore oder Anwendungs-UI | Amazon Quick, Amazon OpenSearch Dashboards | Das Datenqualitäts-Dashboard zeigt die angewendeten Regeln und deren Status sowie die Gesamtzahl der Anomalien, kritische Anomalien, durchgeführten Prüfungen und Details zu Problemen an. |
| Sicherheit und Governance | AWS Identity and Access Management (AWS IAM), AWS Key Management Service (AWS KMS), AWS Secrets Manager, AWS CloudTrail, AWS Config, Amazon GuardDuty, AWS Security Hub, Amazon Inspector, Endpunkte für virtuelle private Clouds (VPC) | – | Authentifizierung, Verschlüsselung, Secrets, Audit und Bedrohungserkennung |
Wie der Data Quality Agent Kontext aufbaut
Bevor der Data Quality Agent eine Validierungsregel empfiehlt, erstellt er Kontext aus sechs verschiedenen Quellen, von denen jede eine andere Frage zu den Daten beantwortet:
| Kontextquelle | Was sie bereitstellt | Frage, die sie beantwortet |
| Tabellen-/Spalten-Metadaten (Katalog) | Schema und Datentypen aus dem Data Catalog | Was sind diese Daten? |
| Datenprofil | Statistiken auf Spaltenebene, berechnet aus den tatsächlichen Daten, wie Null-Raten, Anzahl unterschiedlicher Werte, Wertebereiche, häufige Werte und erkannte Muster | Wie sehen die Daten aktuell aus? |
| Ergebnisse der Anomalieerkennung | Unerwartete Änderungen, die durch den Vergleich des neuesten Profils mit historischen Baselines erkannt wurden, wie ein plötzlicher Anstieg von Null-Werten, eine Änderung der Anzahl unterschiedlicher Werte oder außerhalb des Bereichs liegende Werte | Was hat sich geändert oder sieht falsch aus? |
| Vorhandene Active-Data-Quality-Regeln | Regeln, die bereits auf Tabellen- oder Spaltenebene angewendet werden, abgerufen aus dem Regel-Repository | Welche Regeln existieren bereits, damit wir nichts duplizieren oder Konflikte verursachen? |
| Externe Referenz-Wissensbasis | Universelle, öffentlich etablierte Datenqualitätsstandards und bewährte Validierungsverfahren (zum Beispiel Format- und Strukturregeln für Kennungen wie den National Provider Identifier) | Welche Industriestandards gelten für dieses Feld? |
| Interne Unternehmens-Wissensbasis | Organisationsspezifische Muster für Datenqualitätsregeln, früheres Feedback von Prüfern sowie kuratierte Bibliotheken mit Geschäfts-/Technikregeln | Wie definiert diese Organisation Qualität? |
Zusammen ermöglichen diese Quellen dem Agenten, wie ein erfahrener Data Steward zu denken. Jede Empfehlung stützt sich darauf, was die Daten ist, was die Standards verlangen, wie das Unternehmen Qualität definiert und was bereits umgesetzt wurde.
Was die Lösung leistet
Der Data Quality Agent generiert mehrere Kategorien von Checks und hält die Data Stewards in der Kontrolle über die Ergebnisse.
Generierung von Anomalie-Checks
Die Lösung generiert Anomalie-Checks, die Werte erkennen, die technisch gültig sind, aber nicht dem Verhalten eines pharmazeutischen Marktes entsprechen. Dazu gehören negative Wechselprozentsätze, Marktanteile, die innerhalb eines Marktes nicht zu 100 Prozent aufaddieren, inkonsistente Arzneimittel-Rankings (zum Beispiel ein Arzneimittel auf Platz eins mit einem geringeren Anteil als das Arzneimittel auf Platz zwei), Bewertungswerte außerhalb der definierten Skala sowie Panelgrößen, die zu klein sind oder nicht mit der Anzahl der Befragten übereinstimmen.
Kontextbezogene Regelgenerierung mit RAG
Der Data Quality Agent generiert Regel-Empfehlungen in drei Modi:
| Regeltyp | Beschreibung |
| Spaltenebene (Column Level) | Erzeugt Datenqualitätsregeln für eine bestimmte, individuelle Spalte, die der Nutzer auswählt. Der Agent liest die Metadaten dieser Spalte sowie Profiling-Signale, um Prüfungen wie Datentypvalidierung, Null- und Pflichtfeldprüfungen, Längen- und Bereichsvalidierung, Muster-/Formatvalidierung und Eindeutigkeitsprüfungen vorzuschlagen. |
| Tabellenebene (Table Level) | Erzeugt Datenqualitätsregeln für die Tabelle als Ganzes, gestützt auf die Metadaten der Tabelle und die Beziehungen zwischen ihren Spalten. Dies umfasst Datensatzkonsistenz, Duplikaterkennung, spaltenübergreifende Validierung, referenzielle Integritätsprüfungen und tabellenweite geschäftliche Konsistenz. |
| Benutzerdefinierte Abfrage (Custom Query) | Erzeugt SQL-basierte Regeln aus Eingaben in natürlicher Sprache. Der Nutzer beschreibt die geschäftliche Validierung in einfachem Englisch, und der Agent erzeugt das entsprechende SQL, das anschließend dialogisch verfeinert oder direkt bearbeitet werden kann, um komplexe Validierungen zu unterstützen, die außerhalb der Standardprüfungen auf Spalten- und Tabellenebene liegen. |
Die Oberfläche „Create New Quality Rule“ bietet eigene Modi für Column Level, Table Level und Custom Query.
Die Plattform unterstützt sowohl technische Validierungen als auch geschäftsspezifische Qualitätsprüfungen.
Für technische Regeln erzeugt der Agent Prüfungen, die bestätigen, dass die Daten strukturell korrekt sind. Dazu gehören Null-Prüfungen für Pflichtfelder, Datentypvalidierung, Bereichsvalidierung für numerische Werte und Datumswerte, Mustervalidierung für formatierte Felder wie Kennungen und Codes, Duplikaterkennung sowie referenzielle Integritätsprüfungen zwischen verwandten Tabellen.
Für Geschäftsregeln erzeugt der Agent Prüfungen aus dem Bereich Life Sciences, die bestätigen, dass die Daten mit der Funktionsweise des Unternehmens übereinstimmen. Dazu gehören die Konsistenz der Kontozuordnung (z. B. ein Gesundheitsdienstleister, der mit der richtigen Organisation verknüpft ist), Segmentierungslogik, Eignungskriterien sowie die Validierung von Marktanteilen und Produktanteilen (z. B. Anteile innerhalb eines Gebiets, die 100% nicht überschreiten).
Praxisbeispiel
Betrachten Sie eine Tabelle „HCP Product Performance“ mit den Spalten HCP_ID, Specialty, Territory_ID, Product_ID, Prescription_Volume, Market_Share_Pct, Switch_Pct, Rating_Scale und Reporting_Month. Unter Verwendung des Tabellenprofils und der beiden Knowledge Bases erzeugt und führt der Data Quality Agent die folgenden Prüfungen durch:
- Durchgeführte Anomalieprüfungen.
- Negativer Wechselpercentage (Switch Percentage).
- Gesamt mismatch der Marktanteile.
- Plötzlicher Anstieg oder Rückgang des Verschreibungsvolumens.
- Inkonsistente Produktrankings.
- Ungültige Werte der Bewertungsskala.
- Erzeugte technische Regeln.
- HCP_ID darf nicht null oder dupliziert sein.
- Prescription_Volume muss numerisch und nicht negativ sein.
- Market_Share_Pct und Switch_Pct müssen zwischen 0 und 100 liegen.
- Reporting_Month muss dem erforderlichen Datumsformat entsprechen.
- Territory_ID und Product_ID müssen mit ihren Referenztabellen übereinstimmen.
- Erzeugte Geschäftsregeln.
- Die Marktanteile aller Produkte müssen für jedes Gebiet und jeden Berichtsmonat insgesamt 100 Prozent ergeben.
- Die Produkt-Eignung des HCP muss mit dessen Fachrichtung übereinstimmen.
- Nur geeignete HCPs dürfen in das Zielsegment aufgenommen werden.
KI-gestützte Schweregrad-Empfehlung
Die Lösung empfiehlt den Schweregrad auf Grundlage des Datensatzkontexts, des Regeltyps und der geschäftlichen Auswirkungen. Schweregradkategorien helfen bei der Unterscheidung zwischen:
- Kritisch Probleme, wie ungültige kommerzielle Metriken, falsche Kennungen oder Verstöße gegen Geschäftsregeln.
- Basic „validations, including schema conformance, null checks, and length validation.“
- Komplex Validierungen, die komplexe SQL-Logik, Regeln für mehrere Spalten oder domänenspezifische Geschäftsprüfungen beinhalten.
- Information: Die Validierung wurde ausschließlich zu Zwecken der Sensibilisierung und Transparenz durchgeführt. Es sind keine Maßnahmen erforderlich, sofern keine Bedenken festgestellt werden.
SQL/Python-Codegenerierung und ETL-Integration
Nachdem eine Regel genehmigt wurde, generiert das LLM den entsprechenden SQL-, Python- und PySpark-Code. Bevor er gespeichert wird, wird der Code automatisch validiert – mit Syntaxprüfungen, einem Abgleich gegen das Zielschema und einem Testlauf auf Beispieldaten, sofern die Sprache dies unterstützt. Das bedeutet, dass bestehende Extract-, Transform- and Load- (ETL)- und Orchestrierungstools sie als Teil der aktuellen Datenpipelines ausführen können.
KI-gestützte Validierung
Einsatz eines LLM als Validierungsagenten zur Überprüfung von Datenqualitäts-Regeln (DQ)/Skripten, die von einem anderen LLM erzeugt wurden, um Halluzinationen zu reduzieren und die Governance zu verbessern. Des Weiteren, Amazon Bedrock bietet „Sicherheit, Datenschutz und Kontrollen für verantwortungsvolle KI“. Prompts und Ausgaben werden nicht zum Trainieren der Modelle verwendet und nicht mit Modellanbietern geteilt. Amazon Bedrock ist HIPAA-berechtigt und in Compliance-Programme wie SOC, ISO und GDPR einbezogen, was Indegene hilft, die Anforderungen seiner Life-Sciences-Kunden zu erfüllen. Amazon Bedrock Guardrails fügt konfigurierbare Schutzmaßnahmen für Modelleingaben und -ausgaben hinzu. Es erkennt und maskiert personenbezogene Daten (PII), blockiert schädliche Inhalte und Prompt-Injection-Angriffe und verwendet kontextuelle Grounding-Prüfungen, um Antworten zu kennzeichnen, die durch das abgerufene Wissen nicht gestützt werden.
Menschliche Aufsicht bleibt zentral
Der Data Quality Agent ist darauf ausgelegt, bestehende Datenqualitätsprozesse zu ergänzen. Jede generierte Regel erhält einen Confidence-Score. Nur Regeln mit hoher Konfidenz und geringem Risiko werden automatisch genehmigt, während kritische und Geschäftsregeln immer zur Prüfung an einen SME gehen. Jede Entscheidung wird im Regel-Repository aufgezeichnet, sodass das Regelmanagement kontrolliert, nachvollziehbar und an Unternehmensstandards ausgerichtet bleibt.
Operative Wirkung und Geschäftswert liefern
Im Produktivbetrieb, über Indegenes Deployments von NEXT UDP für Life-Sciences-Kunden hinweg, hat der Data Quality Agent den Aufwand zur Definition und Implementierung von Datenqualitätsregeln von etwa 30 Stunden auf etwa 4 Stunden pro Datensatz reduziert. Das sind etwa 85 Prozent weniger Aufwand bzw. etwa 7x höhere Produktivität. Das Onboarding einer neuen Tabelle dauert jetzt 2–4 Stunden statt 2–5 Arbeitstage. Data Engineers und Data Stewards verbringen ihre Zeit nun mit dem Prüfen und Genehmigen von Regeln, statt sie von Grund auf zu schreiben.
Wichtige Ergebnisse umfassen:
- Weniger manueller Aufwand durch KI-generierte Regeln, SQL und Python.
- Schnelleres Onboarding neuer Tabellen, Schemas und Geschäftsbereiche.
- Konsistentere Regeln, basierend auf genehmigten Standards, Unternehmenswissen und bestehenden Regeln.
- Bessere Zusammenarbeit zwischen Geschäfts- und Technikteams durch den Review-, Refine- und Approve-Workflow.
- Frühere Erkennung von Datenqualitätsproblemen durch automatisiertes Profiling und Anomalieerkennung.
Tabelle 1: Leistung und Skalierung
| Metrik | Auswirkung* |
| Enterprise-Profiling | 25–50 Schemas; 500–2,000 Tabellen; 10,000–50,000 Spalten |
| Tabellenprofiling | 45–90 Sek (~1M Zeilen); 2–5 Min (~10M Zeilen) |
| KI-Regelgenerierung | 20–45 Sek pro Tabelle |
| SQL-Generierung | 3–8 Sek pro Regel; 20–60 Sek für 10–15 Regeln |
| Regelausführung | 20–30 Sek (Standard); 1–3 Min (komplexes SQL) |
| Zentrales Regel-Repository | 1,000–10,000 Regeln |
| DQ-Prüfungen pro Ausführung | 100–500 pro Domäne. Skalierbar auf 1,000+ |
*Geschätzt aus Indegenes Produktionsbereitstellungen
Tabelle 2: Regelqualität und Validierung
| Metrik | Auswirkung* | Was bedeutet das |
| Genauigkeit der Regelvorschläge | 80–90% | Vorschläge, die technisch gültig sind und korrekt auf die Spalte oder Tabelle anwendbar sind |
| Akzeptanzrate der Regeln | 60–75% | Vorschläge, die ohne Änderungen genehmigt wurden |
| Verfeinerungsrate der Regeln / Human Override Rate | 20–35% | Vorschläge, die genehmigt wurden, nachdem der Prüfer die Logik oder Schwellenwerte bearbeitet hatte |
| SQL-Gültigkeit | 90–97% (schema-basiert); 80–90% (benutzerdefiniertes SQL) | Generiertes SQL, das die Validierung beim ersten Versuch besteht |
| Genauigkeit der Empfehlung des Schweregrads | 75–85% | Empfohlener Schweregrad, der dem endgültigen Schweregrad des Prüfers entspricht |
| Geschäftliche Relevanz (SME-Bewertung) | 4.0–4.5 / 5 | SME-Bewertung, wie nützlich die empfohlenen Regeln für das Geschäft sind |
| Halluzinationsrate | <5–8% | Vorschläge, die nicht existierende Spalten oder falsche Geschäftslogik referenzieren |
*Geschätzt aus Indegenes Produktionsbereitstellungen
Tabelle 3: Betriebliche Effizienz
| Metrik | Auswirkung* |
| Manuelle Erstellung von SQL-Regeln | 60–80% Reduzierung des End-to-End-Aufwands, einschließlich Überprüfung und Verfeinerung |
| Onboarding neuer Tabellen | 2–5 Arbeitstage → 2–4 Stunden |
| Wiederverwendung von Regeln | 40–60 % der neuen Regeln aus vorhandenen genehmigten Regeln übernommen |
| LLM-Kostenoptimierung | Bis zu 90 % geringere Eingabe-Token-Kosten bei zwischengespeichertem Kontext mit Amazon Bedrock Prompt Caching |
| Compute-Optimierung | ~45–51 % Reduktion durch Metadata-First-Profiling |
*Geschätzt aus Indegenes Produktionsbereitstellungen
Tabelle 4: Manuell im Vergleich zu agentenunterstützter Datenqualität
| Aktivität | Traditioneller DQ-Ansatz | Generative-KI-gestützter DQ-Ansatz | Auswirkung* |
| Regel-Discovery | Manuelle Prüfung von Schemas, Profiling-Berichten, Stichprobendaten und Dokumentation. Vorhandene Tools können grundlegende Profiling-Prüfungen generieren, übersehen aber oft domänenspezifische Geschäftslogik | Der Agent nutzt Metadaten, Profiling-Ergebnisse, Tabellenkontext, vorhandene Regelmuster und optionale Geschäftsbeschreibungen, um technische und life-sciences-spezifische Datenqualitätsregeln zu empfehlen | 80-85 % schneller |
| Generierung technischer Regeln | Manuelle Erstellung von Null-, Datentyp-, Bereichs-, Eindeutigkeits- und Integritätsregeln | Automatisierte Regelgenerierung mit menschlicher Prüfung | 80-85 % schneller |
| Definition von Geschäftsregeln | Die Validierung basiert oft auf technischen Metadaten mit begrenztem Verständnis von Produkt-, Segment-, Kunden- oder Berechtigungslogik. Der Geschäftskontext hängt stark von Diskussionen mit SMEs und der manuellen Übersetzung in Validierungslogik ab | Nutzt RAG, um Geschäftsglossare, Data Dictionaries, vorhandene Regeln und historische Anomalie-Muster abzurufen und kontextbewusste Empfehlungen zu generieren. | 70-75 % schneller |
| Regelerstellung und SQL/Python-Entwicklung | Ingenieure definieren Validierungsregeln manuell und führen Codierung, Debugging und Tests für jeden Datensatz oder jede Geschäftsanforderung durch. | Automatisch generierte Regeln auf Column Level-, Table Level- und Custom Query-Ebene sowie Generierung von SQL/Python für die ausgewählten DQ-Prüfungen. Nutzer können die Empfehlungen prüfen, verfeinern und anwenden. | 80-85 % schneller bis zum ersten funktionierenden Code |
| Regelvalidierung | Regeln werden manuell validiert, was mehrere Iterationen der Abfrageausführung und Verfeinerung erfordert | Der Agent bewertet, verfeinert und optimiert Regeln automatisch | 80-85 % schneller |
| Regelwiederverwendung | Manuelles Kopieren, Anpassen und Wiederverwenden | Genehmigte Regeln und Feedback, die zum Wissen des Agenten hinzugefügt werden | 50% schnellere Onboarding für neue Datensätze in einer bestehenden Domäne |
| Anomalieerkennung | Manuelle Analyse von Profiling-Ausgaben und Datensätzen | Automatisierte Anomalieerkennung mit Erklärungen im Geschäftskontext | 80-85% schneller |
| Schweregrad-Klassifizierung | Der Schweregrad einer Regel und ihre geschäftliche Auswirkung werden manuell bestimmt, was zu inkonsistenter Priorisierung führen kann. | Empfiehlt den Schweregrad auf Grundlage von Regeltyp, Datensatz-Kontext und geschäftlicher Auswirkung. | Konsistenter, kontextbasierter Schweregrad |
| Governance & Nachverfolgbarkeit | Regeln sind oft auf Tools, Skripte, Tabellen oder Kataloge verteilt, was Governance und Nachverfolgbarkeit erschwert. Genehmigungs- und Prüf-Workflows unterscheiden sich von Team zu Team. | Zentrales, versioniertes Regel-Repository mit Eigentümerschaft | 85% weniger Wartungsaufwand |
| Manueller Aufwand | SMEs und Ingenieure treiben jeden Schritt voran | SMEs konzentrieren sich auf Prüfung und Genehmigung. Der Agent übernimmt Erkennung und Generierung | Höhere Produktivität & Skalierbarkeit, ~7x Produktivität |
*Geschätzt aus Indegenes Produktionsbereitstellungen
Ausblick
Da Unternehmens-Datenökosysteme weiter wachsen, wird die Aufrechterhaltung einer konsistenten und skalierbaren Datenqualität mit manueller Regelerstellung und fragmentierten Governance-Prozessen zunehmend schwieriger. Generative KI bietet die Möglichkeit, diese Workflows zu erweitern, indem sie die Regelgenerierung beschleunigt, Geschäftskontext einbezieht und geregelte Entscheidungsfindung unterstützt.
Der generative KI-basierte Data Quality Agent innerhalb der NEXT Unified Data Platform zeigt, wie große Sprachmodelle, RAG und zentrale Regel-Governance zusammenarbeiten können, um das Datenqualitätsmanagement zu vereinfachen, während Menschen die Kontrolle über Prüfung und Genehmigung behalten. Künftige Erweiterungen werden auf dieser Grundlage aufbauen, darunter:
- KI-unterstützte Korreturempfehlungen, die Benutzern bei der Behebung fehlgeschlagener Datenqualitätsprüfungen helfen.
- Ursachenanalyse zur Identifizierung wiederkehrender Anomalie-Muster und zur Unterstützung schnellerer Untersuchung wiederholter Datenqualitätsprobleme.
Während sich diese Fähigkeiten weiterentwickeln, bleibt der Fokus derselbe: Organisationen dabei zu helfen, die Datenqualität durch KI-unterstützte Automatisierung zu verbessern und gleichzeitig Governance, Transparenz und geschäftliche Aufsicht zu wahren.
Weitere Informationen finden Sie in den folgenden Ressourcen:
- Indegene im Bereich Life Sciences
- Generative KI im Gesundheitswesen & in den Life Sciences
- AWS Skill Builder Kurs: Building Generative AI Applications Using Amazon Bedrock
- GitHub-Repo: Sample Healthcare and Life Sciences Agents on AWS