Was ist Data Lineage?

Data Lineage (Datenherkunft) ist die Fähigkeit, den Weg von Daten von ihrem Ursprung bis zu ihrem endgültigen Ziel nachzuverfolgen und dabei alle Transformationen, Bewegungen und Abhängigkeiten zu dokumentieren. Es ist wie eine Straßenkarte für Daten: Sie zeigt, woher Daten kommen, welchen Weg sie nehmen und wohin sie gelangen.

Data Lineage operiert auf verschiedenen Granularitätsebenen. Lineage auf Tabellenebene zeigt die Beziehungen zwischen vollständigen Tabellen und Datensätzen. Column-Level Lineage (Lineage auf Spaltenebene) geht einen Schritt weiter und verfolgt, wie jedes einzelne Feld durch Pipelines, Views und Dashboards transformiert und weitergeleitet wird.

In einem modernen Datenökosystem, in dem Daten zwischen Dutzenden von Systemen (CRM, ERP, Data Warehouse, BI-Tools) fließen, ist Lineage unerlässlich, um Fragen zu beantworten wie: „Woher stammen die Daten in diesem Dashboard?", „Was bricht, wenn ich diese Spalte ändere?" oder „Warum zeigt dieser KPI einen anderen Wert als letzten Monat?".

Laut einer Studie von Precisely halten 77 % der Datenverantwortlichen Nachverfolgbarkeit für eine kritische Anforderung an das Datenvertrauen. Ohne Lineage arbeiten Teams blind: Sie können die Auswirkungen von Änderungen nicht beurteilen, die Ursache von Qualitätsproblemen nicht schnell diagnostizieren und Regulatoren gegenüber nicht nachweisen, woher die Daten in ihren Berichten stammen.

Die Kosten fehlender Lineage zeigen sich in Vorfällen: Ein Feld, das im CRM das Format ändert, bricht stillschweigend nachgelagerte Dashboards. Ohne Lineage kann die Erkennung und Behebung solcher Probleme Tage oder Wochen dauern. Mit Lineage werden sie in Minuten gelöst.

Lineage wird auf zwei Hauptwegen aufgebaut. Automatisches Lineage analysiert SQL-Abfragen, ETL-Pipelines und View-Definitionen, um Beziehungen zwischen Tabellen und Spalten zu extrahieren. Manuelles Lineage ermöglicht es Teams, Beziehungen zu dokumentieren, die nicht automatisch erfasst werden können (z. B. Daten, die nach Excel exportiert und reimportiert werden).

Sobald es aufgebaut ist, wird Lineage typischerweise als gerichteter Graph visualisiert, bei dem Knoten Tabellen oder Spalten sind und Kanten Datenflüsse darstellen. Nutzer können upstream (in Richtung Ursprung) oder downstream (in Richtung Verbrauch) navigieren, um Abhängigkeiten zu verstehen und Auswirkungen zu bewerten.

Linedat bietet visuelles Lineage sowohl auf Tabellen- als auch auf Spaltenebene, mit einem interaktiven Graphen zur Navigation durch die Beziehungen zwischen Daten-Assets. Die Impact-Analysis-Funktion ermöglicht die Bewertung der Auswirkungen geplanter Änderungen vor deren Ausführung, und temporales Lineage dokumentiert, wie sich Beziehungen im Laufe der Zeit entwickelt haben.