Què és un Data Contract (Contracte de Dades)?
Un Data Contract (Contracte de Dades) és un acord formal entre el productor i el consumidor d'un dataset que defineix les expectatives i compromisos sobre les dades: quin esquema tindran, quins nivells de qualitat garanteix el productor, amb quina freqüència s'actualitzen, qui és responsable de cada cosa i què passa si s'incompleixen els termes.
Els Data Contracts sorgeixen com a resposta a un problema comú: els canvis en les dades upstream trenquen aplicacions i informes downstream sense avís. Sense un contracte explícit, no hi ha forma de saber què constitueix un "breaking change" ni qui hauria d'avisar qui. El contracte formalitza aquestes expectatives perquè totes dues parts sàpiguen exactament a què atenir-se.
Un Data Contract típic inclou: definició de l'esquema (camps, tipus, nullable), regles de qualitat mínimes (completesa > 99%, unicitat al camp X), SLAs de frescor (dades actualitzades cada 4 hores), política de canvis (versionat semàntic, període de notificació) i metadades de l'owner, consumidors i canals de comunicació.
Per què és important?
En organitzacions amb desenes o centenars de pipelines de dades, els canvis no coordinats són la causa principal d'incidents. Un estudi de Monte Carlo Data revela que els equips de dades dediquen fins al 40% del seu temps a resoldre problemes de qualitat i pipeline, molts d'ells causats per canvis upstream no comunicats.
Els Data Contracts redueixen aquests incidents en fer explícites les expectatives. Quan el productor sap que té consumidors que depenen d'un esquema específic, pensa dues vegades abans de reanomenar una columna. I quan el consumidor sap que té un SLA de qualitat, pot dissenyar els seus processos assumint que les dades compliran certs estàndards.
Com funciona a la pràctica?
Els Data Contracts es defineixen típicament en un format llegible per màquines (YAML, JSON) i s'integren en el pipeline de CI/CD. Abans que un canvi d'esquema es desplegui, es valida contra els contractes existents. Si el canvi viola un contracte (per exemple, eliminar una columna que el consumidor espera), el pipeline s'atura i notifica les parts afectades.
El cicle de vida d'un contracte inclou fases: esborrany (draft), proposat (els consumidors el revisen), actiu (en vigor), i obsolet (reemplaçat per una nova versió). Les eines de govern de dades monitoritzen el compliment automàticament, detectant violacions de qualitat o frescor i notificant a l'owner.
Data Contract (Contracte de Dades) a Linedat
Linedat implementa Data Contracts amb un sistema d'estats (draft, proposed, active, deprecated) i validació automàtica de compliment. El servei de compliance verifica contínuament que les dades compleixen els termes del contracte i genera violacions documentades quan es detecten incompliments, integrant els contractes amb el lineage i el catàleg.
Termes relacionats
El Data Mesh és una arquitectura descentralitzada on cada domini de negoci és responsable dels seus propis productes de dades.
Què és el Data Quality (Qualitat de Dades)?El Data Quality mesura si les dades són precises, completes, consistents i actualitzades. Aprèn a implementar regles de qualitat efectives.
Què és el Data Governance?El Data Governance és el marc de polítiques, processos i rols que garanteix la qualitat, la seguretat i l'ús correcte de les dades en una organització.
Què és el Data Lineage?El Data Lineage és la traçabilitat de les dades des del seu origen fins al seu destí, mostrant totes les transformacions i dependències del camí.