O que é Data Lineage?

Data Lineage (Linhagem de Dados) é a capacidade de rastrear o percurso dos dados desde a sua origem até ao destino final, documentando todas as transformações, movimentos e dependências que ocorrem ao longo do caminho. É como um mapa de estradas para os seus dados: mostra de onde provêm, por onde passam e onde chegam.

A linhagem opera a diferentes níveis de granularidade. A linhagem ao nível da tabela mostra as relações entre tabelas e conjuntos de dados completos. A linhagem ao nível da coluna (column-level lineage) vai um passo mais além, rastreando como cada campo individual é transformado e propagado através de pipelines, vistas e dashboards.

Num ecossistema de dados moderno em que os dados fluem entre dezenas de sistemas (CRM, ERP, data warehouse, ferramentas de BI), a linhagem é essencial para responder a perguntas como: "De onde provêm os dados deste dashboard?", "O que deixa de funcionar se modificar esta coluna?" ou "Por que razão este KPI apresenta um valor diferente do do mês passado?".

Segundo um estudo da Precisely, 77% dos líderes de dados consideram a rastreabilidade um requisito crítico para a confiança nos dados. Sem linhagem, as equipas operam às cegas: não conseguem avaliar o impacto das alterações, não conseguem diagnosticar rapidamente a causa raiz de problemas de qualidade e não conseguem demonstrar a reguladores a proveniência dos dados dos seus relatórios.

O custo de não ter linhagem materializa-se em incidentes: um campo que muda de formato no CRM interrompe silenciosamente dashboards a jusante. Sem linhagem, detetar e corrigir estes problemas pode demorar dias ou semanas. Com linhagem, resolvem-se em minutos.

A linhagem constrói-se de duas formas principais. A linhagem automática analisa as queries SQL, os pipelines de ETL e as definições de vistas para extrair as relações entre tabelas e colunas. A linhagem manual permite às equipas documentar relações que não são capturáveis automaticamente (por exemplo, dados exportados para Excel e reimportados).

Uma vez construída, a linhagem visualiza-se tipicamente como um grafo dirigido onde os nós são tabelas ou colunas e as arestas representam fluxos de dados. Os utilizadores podem navegar a montante (upstream, em direção à origem) ou a jusante (downstream, em direção ao consumo) para compreender dependências e avaliar impactos.

A Linedat oferece linhagem visual tanto ao nível da tabela como ao nível da coluna, com um grafo interativo que permite navegar as relações entre ativos de dados. A funcionalidade de Impact Analysis permite avaliar o efeito de alterações propostas antes de as executar, e a linhagem temporal regista a evolução das relações ao longo do tempo.