Què és el Lineage a Nivell de Columna?
El Column-Level Lineage (Lineage a Nivell de Columna) és la capacitat de rastrejar el recorregut d'un camp o columna individual a través de tot l'ecosistema de dades, des del seu origen fins al seu consum final. Mentre que el lineage a nivell de taula mostra relacions entre datasets complets ("la taula A alimenta la taula B"), el lineage a nivell de columna mostra com cada camp es transforma, combina o propaga.
Per exemple, el camp "revenue_total" en un dashboard de finances pot provenir de la columna "amount" de la taula de transaccions, multiplicada per la columna "exchange_rate" de la taula de divises, filtrada per la columna "status" = "completed". El column-level lineage documenta exactament aquesta cadena de transformacions, camp per camp.
Aquest nivell de granularitat és essencial per respondre preguntes com: "d'on surt exactament aquest número?", "quins camps es veuen afectats si canvio el tipus de dada d'aquesta columna?" o "quins dashboards mostren dades derivades d'aquest camp de PII?". Sense lineage a nivell de columna, aquestes preguntes només es poden respondre manualment, revisant codi i queries una per una.
Per què és important?
Segons investigacions del sector, el 70% dels incidents de dades s'originen en canvis a nivell de columna: reanomenar un camp, canviar el seu tipus de dada, modificar una lògica de càlcul o eliminar una columna que altres processos esperen. El lineage a nivell de taula no captura aquests canvis amb la precisió necessària per prevenir problemes.
Per al compliment regulatori, el column-level lineage és particularment valuós. El GDPR exigeix saber exactament on flueixen les dades personals, camp per camp. Si el camp "email" de la taula de clients es copia a 15 taules downstream, cal saber-ho per garantir que tots els punts d'emmagatzematge compleixen les polítiques de retenció i accés.
Com funciona a la pràctica?
El column-level lineage es construeix analitzant les transformacions SQL, definicions de vistes, configuracions de pipelines ETL/ELT i metadades d'eines de BI. Eines com parsers SQL extreuen les relacions entre columnes d'origen i columnes de destinació, incloent operacions com JOIN, UNION, funcions d'agregació i càlculs.
El resultat és un graf dirigit a nivell de camp on cada node és una columna específica d'una taula específica, i cada aresta representa una transformació o propagació. Aquest graf permet navegar tant upstream (d'on ve aquest camp?) com downstream (cap a on va aquest camp?) amb precisió absoluta.
Lineage a Nivell de Columna a Linedat
Linedat ofereix column-level lineage integrat en el catàleg de dades, visualitzant les relacions entre camps individuals a través de tot l'ecosistema. Combinat amb la detecció automàtica de PII, permet rastrejar exactament cap a on flueixen les dades personals, i la funcionalitat d'Impact Analysis mostra l'efecte dels canvis proposats a nivell de camp abans d'executar-los.
Termes relacionats
El Data Lineage és la traçabilitat de les dades des del seu origen fins al seu destí, mostrant totes les transformacions i dependències del camí.
Què és l'Anàlisi d'Impacte en Dades?L'anàlisi d'impacte avalua què es trenca abans de fer canvis en dades, taules o columnes. Prevé incidents downstream.
Què són les Dades PII (Informació Personal Identificable)?PII són dades que identifiquen una persona: nom, email, DNI, IP. Aprèn a detectar-les i gestionar-les per complir amb el GDPR i DORA.
Què és un Data Catalog?Un Data Catalog és un inventari centralitzat de tots els actius de dades d'una organització, amb metadades, descripcions i lineage.