Qu'est-ce que le lignage au niveau des colonnes ?

Le lignage au niveau des colonnes (Column-Level Lineage) est la capacité de retracer le parcours d'un champ ou d'une colonne individuelle à travers l'ensemble de l'écosystème de données, depuis son origine jusqu'à sa consommation finale. Tandis que le lignage au niveau des tables montre les relations entre des jeux de données complets (« la table A alimente la table B »), le lignage au niveau des colonnes montre comment chaque champ est transformé, combiné ou propagé.

Par exemple, le champ « revenue_total » dans un tableau de bord financier peut provenir de la colonne « amount » de la table des transactions, multipliée par la colonne « exchange_rate » de la table des devises, filtrée par la colonne « status » = « completed ». Le lignage au niveau des colonnes documente exactement cette chaîne de transformations, champ par champ.

Ce niveau de granularité est indispensable pour répondre à des questions telles que : « D'où vient exactement ce chiffre ? », « Quels champs sont affectés si je change le type de données de cette colonne ? » ou « Quels tableaux de bord affichent des données dérivées de ce champ PII ? ». Sans lignage au niveau des colonnes, ces questions ne peuvent être traitées que manuellement, en révisant le code et les requêtes une par une.

Selon des recherches sectorielles, 70 % des incidents de données proviennent de changements au niveau des colonnes : renommer un champ, changer son type de données, modifier une logique de calcul ou supprimer une colonne dont d'autres processus dépendent. Le lignage au niveau des tables ne capture pas ces changements avec la précision nécessaire pour prévenir les problèmes.

Pour la conformité réglementaire, le lignage au niveau des colonnes est particulièrement précieux. Le RGPD exige de savoir exactement où circulent les données personnelles, champ par champ. Si le champ « email » de la table clients est copié dans 15 tables en aval, vous devez le savoir pour garantir que tous les points de stockage respectent les politiques de rétention et d'accès.

Le lignage au niveau des colonnes se construit en analysant les transformations SQL, les définitions de vues, les configurations des pipelines ETL/ELT et les métadonnées des outils de BI. Des outils comme les parseurs SQL extraient les relations entre les colonnes sources et les colonnes de destination, y compris les opérations telles que les JOINs, les UNIONs, les fonctions d'agrégation et les calculs.

Le résultat est un graphe orienté au niveau des champs où chaque nœud est une colonne spécifique d'une table spécifique, et chaque arête représente une transformation ou une propagation. Ce graphe permet de naviguer aussi bien en amont (d'où vient ce champ ?) qu'en aval (où va ce champ ?) avec une précision absolue.

Linedat propose un lignage au niveau des colonnes intégré dans le catalogue de données, visualisant les relations entre champs individuels à travers l'ensemble de l'écosystème. Combiné à la détection automatique des PII, il permet de retracer exactement où circulent les données personnelles, et la fonctionnalité d'Impact Analysis montre l'effet des changements proposés au niveau des champs avant de les exécuter.