Què és el Data Mesh?
El Data Mesh és un paradigma d'arquitectura de dades descentralitzada proposat per Zhamak Dehghani el 2019 que trasllada la responsabilitat de les dades des d'un equip central de dades cap als equips de domini de negoci. En lloc d'un únic data warehouse o data lake gestionat per un equip centralitzat, cada domini (màrqueting, finances, producte) és responsable de publicar les seves dades com a "productes de dades" amb qualitat, documentació i SLAs garantits.
El Data Mesh es fonamenta en quatre principis: propietat de dades orientada a domini (domain-oriented ownership), dades com a producte (data as a product), infraestructura de dades com a plataforma d'autoservei (self-serve data platform) i govern federat computacional (federated computational governance). Aquests principis busquen resoldre els colls d'ampolla de les arquitectures centralitzades, on un únic equip de dades no pot escalar al ritme de l'organització.
És important entendre que el Data Mesh no és una tecnologia ni un producte: és un model organitzatiu i arquitectònic. Es pot implementar amb diferents stacks tecnològics, però requereix canvis significatius en l'estructura d'equips, rols i processos.
Per què és important?
Les arquitectures centralitzades de dades (data warehouse monolític, data lake gestionat per un equip central) s'enfronten a un problema d'escalabilitat organitzativa. A mesura que l'empresa creix, l'equip central de dades es converteix en coll d'ampolla: cada nou requisit de dades passa per la mateixa cua. Segons enquestes del sector, els equips de dades centralitzats solen tenir backlogs de 3-6 mesos.
El Data Mesh proposa resoldre això distribuint la responsabilitat. Els equips que millor coneixen les dades (els de domini) són els que les publiquen i mantenen. L'equip de plataforma proporciona la infraestructura d'autoservei. El govern s'implementa de forma federada mitjançant polítiques computacionals (automatitzades), no mitjançant aprovacions manuals centralitzades.
Com funciona a la pràctica?
En la pràctica, adoptar el Data Mesh implica diversos canvis. Cada domini de negoci identifica les dades que produeix i les publica com a productes de dades amb documentació, SLAs de qualitat i APIs estandarditzades. L'equip de plataforma construeix eines d'autoservei perquè els dominis puguin publicar, descobrir i consumir dades sense dependre d'un equip central.
El govern federat s'implementa mitjançant polítiques automatitzades: en lloc que un comitè aprovi cada accés, les polítiques de qualitat, seguretat i compliance es codifiquen i s'executen automàticament. Per exemple, "tot producte de dades ha de tenir almenys un quality check actiu" o "cap camp PII es pot publicar sense classificació".
Data Mesh a Linedat
Linedat facilita la implementació del Data Mesh proporcionant la capa de govern federat que el model requereix: catàleg de dades per domini, glossari compartit entre dominis, polítiques automatitzades de qualitat i compliance, i rols de Data Steward assignables per domini perquè cada equip gestioni els seus propis actius de dades.
Termes relacionats
El Data Governance és el marc de polítiques, processos i rols que garanteix la qualitat, la seguretat i l'ús correcte de les dades en una organització.
Què és un Data Contract (Contracte de Dades)?Un Data Contract és un acord formal entre productor i consumidor de dades que defineix esquema, qualitat, SLAs i responsabilitats.
Què és un Data Steward?Un Data Steward és el responsable operatiu de la qualitat, documentació i compliment de les dades en un domini específic.
Què és un Data Catalog?Un Data Catalog és un inventari centralitzat de tots els actius de dades d'una organització, amb metadades, descripcions i lineage.