Cos'è il Lineage a Livello di Colonna?

Il Column-Level Lineage (Lineage a Livello di Colonna) è la capacità di tracciare il percorso di un campo o colonna individuale attraverso tutto l'ecosistema di dati, dalla sua origine al consumo finale. Mentre il lineage a livello di tabella mostra le relazioni tra dataset completi ("la tabella A alimenta la tabella B"), il lineage a livello di colonna mostra come ogni campo si trasforma, si combina o si propaga.

Ad esempio, il campo "revenue_total" in un dashboard finance può provenire dalla colonna "amount" della tabella transazioni, moltiplicata per la colonna "exchange_rate" della tabella valute, filtrata per la colonna "status" = "completed". Il column-level lineage documenta esattamente questa catena di trasformazioni, campo per campo.

Questo livello di granularità è essenziale per rispondere a domande come: "da dove viene esattamente questo numero?", "quali campi vengono interessati se cambio il tipo di dato di questa colonna?" o "quali dashboard mostrano dati derivati da questo campo PII?". Senza lineage a livello di colonna, queste domande possono essere risposto solo manualmente, revisionando codice e query una per una.

Secondo ricerche di settore, il 70% degli incidenti sui dati ha origine da modifiche a livello di colonna: rinominare un campo, cambiarne il tipo di dato, modificare una logica di calcolo o eliminare una colonna che altri processi si aspettano. Il lineage a livello di tabella non cattura queste modifiche con la precisione necessaria per prevenire i problemi.

Per la conformità normativa, il column-level lineage è particolarmente prezioso. Il GDPR richiede di sapere esattamente dove fluiscono i dati personali, campo per campo. Se il campo "email" della tabella clienti viene copiato in 15 tabelle downstream, è necessario saperlo per garantire che tutti i punti di archiviazione rispettino le policy di conservazione e accesso.

Il column-level lineage viene costruito analizzando le trasformazioni SQL, le definizioni delle viste, le configurazioni delle pipeline ETL/ELT e i metadati degli strumenti di BI. Strumenti come i parser SQL estraggono le relazioni tra le colonne di origine e le colonne di destinazione, incluse operazioni come JOIN, UNION, funzioni di aggregazione e calcoli.

Il risultato è un grafo orientato a livello di campo in cui ogni nodo è una colonna specifica di una tabella specifica e ogni arco rappresenta una trasformazione o propagazione. Questo grafo consente di navigare sia upstream (da dove viene questo campo?) che downstream (dove va questo campo?) con precisione assoluta.

Linedat offre il column-level lineage integrato nel catalogo dei dati, visualizzando le relazioni tra i singoli campi attraverso tutto l'ecosistema. Combinato con il rilevamento automatico dei PII, consente di tracciare esattamente dove fluiscono i dati personali, e la funzionalità di Impact Analysis mostra l'effetto delle modifiche proposte a livello di campo prima di eseguirle.