Was ist Datenqualität (Data Quality)?
Datenqualität (Data Quality) ist das Ausmaß, in dem Daten die Anforderungen einer Organisation in Bezug auf Genauigkeit, Vollständigkeit, Konsistenz, Aktualität und Gültigkeit erfüllen. Hochwertige Daten sind Daten, denen Teams vertrauen können, um Entscheidungen zu treffen, Berichte zu erstellen und KI-Modelle zu speisen.
Datenqualität wird typischerweise anhand von sechs Dimensionen bewertet: Vollständigkeit (keine Nullwerte, wo Daten erwartet werden), Eindeutigkeit (keine Duplikate), Gültigkeit (Daten, die erwartete Formate und Bereiche erfüllen), Konsistenz (Daten, die systemübergreifend kohärent sind), Aktualität (Daten, die für die beabsichtigte Verwendung aktuell genug sind) und Genauigkeit (Daten, die die Realität widerspiegeln).
Es ist wichtig, zwischen wahrgenommener und gemessener Datenqualität zu unterscheiden. Viele Organisationen gehen davon aus, dass ihre Daten gut sind, bis ein Vorfall das Gegenteil beweist. Ein effektives Datenqualitätsprogramm misst diese Dimensionen proaktiv durch automatisierte Regeln und Alarme.
Warum ist das wichtig?
Laut IBM kostet schlechte Datenqualität die US-amerikanische Wirtschaft jährlich rund 3,1 Billionen US-Dollar. Gartner schätzt die durchschnittliche Auswirkung pro Organisation auf 12,9 Millionen US-Dollar pro Jahr. Diese Kosten sind nicht nur finanzieller Natur: Sie umfassen Fehlentscheidungen, Reputationsschäden, regulatorische Bußgelder und Produktivitätsverluste.
Mit dem Aufkommen generativer KI gewinnt Datenqualität noch mehr an Bedeutung. KI-Modelle, die mit minderwertigen Daten trainiert oder gespeist werden, produzieren fehlerhafte oder verzerrte Ergebnisse und verstärken Probleme anstatt sie zu lösen. Das Prinzip „Garbage in, garbage out" war nie relevanter.
Wie funktioniert das in der Praxis?
Ein Datenqualitätsprogramm definiert Regeln, die automatisch gegen echte Daten ausgeführt werden. Zum Beispiel: „Das E-Mail-Feld darf in der Kundentabelle nicht null sein" (Vollständigkeit), „Das Personalausweis-Feld muss eindeutig sein" (Eindeutigkeit), „Das Datumsfeld muss das Format YYYY-MM-DD haben" (Gültigkeit). Jede Regel produziert einen Score (Prozentsatz der Datensätze, die die Regel erfüllen) und erzeugt Alarme, wenn der Score unter einen konfigurierten Schwellenwert fällt.
Diese Regeln werden periodisch ausgeführt (täglich, stündlich, bei jeder Ingestion) und die Ergebnisse werden in Qualitäts-Dashboards aggregiert, die das Monitoring von Trends, die Identifizierung von Qualitätsverschlechterungen und die Priorisierung von Korrekturen ermöglichen.
Datenqualität (Data Quality) in Linedat
Linedat führt 6 Arten von Qualitätsregeln gegen echte Daten in verbundenen Quellen aus: Vollständigkeit, Eindeutigkeit, Gültigkeit, Konsistenz, Aktualität und Genauigkeit. Jedes Daten-Asset erhält einen aggregierten Qualitätsscore, und Alarme benachrichtigen automatisch, wenn die Qualität unter die vom Team konfigurierten Schwellenwerte fällt.
Verwandte Begriffe
Data Governance ist das Rahmenwerk aus Richtlinien, Prozessen und Rollen, das Datenqualität, Sicherheit und korrekte Nutzung in einer Organisation gewährleistet.
Was ist ein Datenkatalog?Ein Datenkatalog ist ein zentrales Inventar aller Daten-Assets einer Organisation, mit Metadaten, Beschreibungen und Datenherkunft.
Was ist Datenauswirkungsanalyse (Impact Analysis)?Impact Analysis bewertet, was bei Änderungen an Daten, Tabellen oder Spalten bricht. Sie verhindert nachgelagerte Vorfälle.
Was ist ein Datenvertrag (Data Contract)?Ein Datenvertrag ist eine formelle Vereinbarung zwischen Datenproduzenten und -konsumenten, die Schema, Qualität, SLAs und Verantwortlichkeiten definiert.