Cos'è il Data Mesh?
Il Data Mesh è un paradigma di architettura dati decentralizzata proposto da Zhamak Dehghani nel 2019 che trasferisce la responsabilità dei dati da un team centrale di dati ai team di dominio di business. Invece di un unico data warehouse o data lake gestito da un team centralizzato, ogni dominio (marketing, finance, prodotto) è responsabile di pubblicare i propri dati come "prodotti dati" con qualità, documentazione e SLA garantiti.
Il Data Mesh si fonda su quattro principi: proprietà dei dati orientata al dominio (domain-oriented ownership), dati come prodotto (data as a product), infrastruttura dati come piattaforma self-service (self-serve data platform) e governance federata computazionale (federated computational governance). Questi principi mirano a risolvere i colli di bottiglia delle architetture centralizzate, in cui un unico team di dati non riesce a scalare al ritmo dell'organizzazione.
È importante capire che il Data Mesh non è una tecnologia né un prodotto: è un modello organizzativo e architetturale. Può essere implementato con diversi stack tecnologici, ma richiede cambiamenti significativi nella struttura dei team, nei ruoli e nei processi.
Perché è importante?
Le architetture dati centralizzate (data warehouse monolitico, data lake gestito da un team centrale) affrontano un problema di scalabilità organizzativa. Man mano che l'azienda cresce, il team centrale di dati diventa un collo di bottiglia: ogni nuovo requisito di dati passa per la stessa coda. Secondo indagini del settore, i team di dati centralizzati hanno tipicamente backlog di 3-6 mesi.
Il Data Mesh propone di risolvere questo distribuendo la responsabilità. I team che meglio conoscono i dati (quelli di dominio) sono quelli che li pubblicano e li mantengono. Il team di piattaforma fornisce l'infrastruttura self-service. La governance viene implementata in modo federato tramite policy computazionali (automatizzate), non tramite approvazioni manuali centralizzate.
Come funziona in pratica?
In pratica, adottare il Data Mesh implica diversi cambiamenti. Ogni dominio di business identifica i dati che produce e li pubblica come prodotti dati con documentazione, SLA di qualità e API standardizzate. Il team di piattaforma costruisce strumenti self-service affinché i domini possano pubblicare, scoprire e consumare dati senza dipendere da un team centrale.
La governance federata viene implementata tramite policy automatizzate: invece di un comitato che approva ogni accesso, le policy di qualità, sicurezza e compliance vengono codificate ed eseguite automaticamente. Ad esempio, "ogni prodotto dati deve avere almeno un quality check attivo" o "nessun campo PII può essere pubblicato senza classificazione".
Data Mesh in Linedat
Linedat facilita l'implementazione del Data Mesh fornendo il livello di governance federata che il modello richiede: catalogo dei dati per dominio, glossario condiviso tra domini, policy automatizzate di qualità e compliance, e ruoli di Data Steward assegnabili per dominio affinché ogni team gestisca i propri asset di dati.
Termini correlati
Il Data Governance è il framework di policy, processi e ruoli che garantisce la qualità, la sicurezza e il corretto utilizzo dei dati in un'organizzazione.
Cos'è un Data Contract (Contratto di Dati)?Un Data Contract è un accordo formale tra produttore e consumatore di dati che definisce schema, qualità, SLA e responsabilità.
Cos'è un Data Steward?Un Data Steward è il responsabile operativo della qualità, della documentazione e della conformità dei dati in un dominio specifico.
Cos'è un Data Catalog?Un Data Catalog è un inventario centralizzato di tutti gli asset di dati di un'organizzazione, con metadati, descrizioni e lineage.