O que é Data Mesh?
Data Mesh é um paradigma de arquitetura de dados descentralizada proposto por Zhamak Dehghani em 2019 que transfere a responsabilidade dos dados de uma equipa central de dados para as equipas de domínio de negócio. Em vez de um único data warehouse ou data lake gerido por uma equipa centralizada, cada domínio (marketing, finanças, produto) é responsável por publicar os seus dados como "produtos de dados" com qualidade, documentação e SLAs garantidos.
O Data Mesh assenta em quatro princípios: propriedade de dados orientada a domínio (domain-oriented ownership), dados como produto (data as a product), infraestrutura de dados como plataforma de autoatendimento (self-serve data platform) e governo federado computacional (federated computational governance). Estes princípios procuram resolver os estrangulamentos das arquiteturas centralizadas, onde uma única equipa de dados não consegue escalar ao ritmo da organização.
É importante compreender que o Data Mesh não é uma tecnologia nem um produto: é um modelo organizacional e arquitetónico. Pode ser implementado com diferentes stacks tecnológicas, mas requer mudanças significativas na estrutura das equipas, funções e processos.
Porque é importante?
As arquiteturas centralizadas de dados (data warehouse monolítico, data lake gerido por uma equipa central) enfrentam um problema de escalabilidade organizacional. À medida que a empresa cresce, a equipa central de dados torna-se um estrangulamento: cada novo requisito de dados passa pela mesma fila. Segundo inquéritos do setor, as equipas centralizadas de dados costumam ter backlogs de 3 a 6 meses.
O Data Mesh propõe resolver isto distribuindo a responsabilidade. As equipas que melhor conhecem os dados (as de domínio) são as que os publicam e mantêm. A equipa de plataforma fornece a infraestrutura de autoatendimento. O governo implementa-se de forma federada através de políticas computacionais (automatizadas), não através de aprovações manuais centralizadas.
Como funciona na prática?
Na prática, adotar o Data Mesh implica várias mudanças. Cada domínio de negócio identifica os dados que produz e publica-os como produtos de dados com documentação, SLAs de qualidade e APIs padronizadas. A equipa de plataforma constrói ferramentas de autoatendimento para que os domínios possam publicar, descobrir e consumir dados sem depender de uma equipa central.
O governo federado implementa-se através de políticas automatizadas: em vez de um comité aprovar cada acesso, as políticas de qualidade, segurança e conformidade codificam-se e executam-se automaticamente. Por exemplo, "todo produto de dados deve ter pelo menos uma verificação de qualidade ativa" ou "nenhum campo PII pode ser publicado sem classificação".
Data Mesh no Linedat
A Linedat facilita a implementação do Data Mesh ao fornecer a camada de governo federado que o modelo requer: catálogo de dados por domínio, glossário partilhado entre domínios, políticas automatizadas de qualidade e conformidade, e funções de Data Steward atribuíveis por domínio para que cada equipa gira os seus próprios ativos de dados.
Termos relacionados
Data Governance é o conjunto de políticas, processos e funções que garante a qualidade, segurança e uso correto dos dados numa organização.
O que é um Data Contract (Contrato de Dados)?Um Data Contract é um acordo formal entre produtor e consumidor de dados que define esquema, qualidade, SLAs e responsabilidades.
O que é um Data Steward?Um Data Steward é o responsável operacional pela qualidade, documentação e conformidade dos dados num domínio específico.
O que é um Data Catalog?Um Data Catalog é um inventário centralizado de todos os ativos de dados de uma organização, com metadados, descrições e linhagem.