Was ist Data Mesh?
Data Mesh ist ein 2019 von Zhamak Dehghani vorgeschlagenes Paradigma für dezentralisierte Datenarchitektur, das die Datenverantwortung von einem zentralen Datenteam auf die Geschäftsdomänen-Teams überträgt. Anstatt eines einzigen Data Warehouses oder Data Lakes, der von einem zentralisierten Team verwaltet wird, ist jede Domäne (Marketing, Finanzen, Produkt) dafür verantwortlich, ihre Daten als „Datenprodukte" mit garantierter Qualität, Dokumentation und SLAs zu veröffentlichen.
Data Mesh stützt sich auf vier Prinzipien: domänenorientierte Dateneigenverantwortung, Daten als Produkt, Self-Service-Datenplattform-Infrastruktur und föderierte Computational Governance. Diese Prinzipien zielen darauf ab, die Engpässe zentralisierter Architekturen zu beheben, bei denen ein einzelnes Datenteam nicht im Tempo der Organisation skalieren kann.
Es ist wichtig zu verstehen, dass Data Mesh keine Technologie oder ein Produkt ist: Es ist ein organisatorisches und architektonisches Modell. Es kann mit verschiedenen Technologie-Stacks implementiert werden, erfordert jedoch erhebliche Änderungen in Teamstruktur, Rollen und Prozessen.
Warum ist das wichtig?
Zentralisierte Datenarchitekturen (monolithisches Data Warehouse, Data Lake verwaltet von einem zentralen Team) stehen vor einem organisatorischen Skalierbarkeitsproblem. Wenn das Unternehmen wächst, wird das zentrale Datenteam zum Engpass: Jede neue Datenanforderung durchläuft dieselbe Warteschlange. Laut Branchenumfragen haben zentralisierte Datenteams typischerweise Backlogs von 3–6 Monaten.
Data Mesh schlägt vor, dieses Problem durch die Verteilung der Verantwortung zu lösen. Die Teams, die die Daten am besten kennen (die Domänenteams), sind diejenigen, die sie veröffentlichen und pflegen. Das Plattformteam stellt die Self-Service-Infrastruktur bereit. Governance wird föderiert durch Computational Policies (automatisiert) implementiert, nicht durch zentrale manuelle Genehmigungen.
Wie funktioniert das in der Praxis?
In der Praxis erfordert die Adoption von Data Mesh mehrere Änderungen. Jede Geschäftsdomäne identifiziert die Daten, die sie produziert, und veröffentlicht sie als Datenprodukte mit Dokumentation, Qualitäts-SLAs und standardisierten APIs. Das Plattformteam baut Self-Service-Tools, damit Domänen Daten ohne Abhängigkeit von einem zentralen Team veröffentlichen, entdecken und konsumieren können.
Föderierte Governance wird durch automatisierte Richtlinien implementiert: Anstatt dass ein Ausschuss jeden Zugriff genehmigt, werden Qualitäts-, Sicherheits- und Compliance-Richtlinien kodifiziert und automatisch ausgeführt. Zum Beispiel: „Jedes Datenprodukt muss mindestens eine aktive Qualitätsprüfung haben" oder „Kein PII-Feld darf ohne Klassifizierung veröffentlicht werden".
Data Mesh in Linedat
Linedat erleichtert die Implementierung von Data Mesh durch die föderierte Governance-Schicht, die das Modell erfordert: domänenspezifische Datenkataloge, ein gemeinsames Glossar domänenübergreifend, automatisierte Qualitäts- und Compliance-Richtlinien sowie Data-Steward-Rollen, die nach Domäne zugewiesen werden können, sodass jedes Team seine eigenen Daten-Assets verwaltet.
Verwandte Begriffe
Data Governance ist das Rahmenwerk aus Richtlinien, Prozessen und Rollen, das Datenqualität, Sicherheit und korrekte Nutzung in einer Organisation gewährleistet.
Was ist ein Datenvertrag (Data Contract)?Ein Datenvertrag ist eine formelle Vereinbarung zwischen Datenproduzenten und -konsumenten, die Schema, Qualität, SLAs und Verantwortlichkeiten definiert.
Was ist ein Data Steward?Ein Data Steward ist operativ verantwortlich für Qualität, Dokumentation und Compliance der Daten in einer bestimmten Domäne.
Was ist ein Datenkatalog?Ein Datenkatalog ist ein zentrales Inventar aller Daten-Assets einer Organisation, mit Metadaten, Beschreibungen und Datenherkunft.