„Încetați să depindeți de inspecție pentru a obține calitate. Eliminați nevoia de inspecție în masă construind calitatea în produs de la bun început.”W. Edwards Deming · Out of the Crisis · 1986 · Out of the Crisis (1986), cap. 2 — cele 14 puncte pentru management, punctul 3
Un test la intrare costă o linie; aceeași eroare găsită în raport costă o săptămână.
Calitatea datelor are dimensiuni care se pot măsura: completitudine (lipsesc rânduri sau valori?), unicitate (chei duplicate?), validitate (valori din setul permis, tipuri corecte), consistență (totalul liniilor egal cu totalul comenzii?), actualitate (au sosit la timp?) și acuratețe (corespund realității?). Punctul lui Deming aplicat aici: testele sunt cod și stau lângă transformări, nu într-un raport de audit trimestrial. La intrare, contracte (lecția 12). Pe fiecare model: not null, unic, valori acceptate, relații între tabele, prospețime, volum așteptat. La ieșire, monitoare de anomalie pe cifrele care contează — numărul de rânduri pe zi, distribuțiile, sumele. Ce faci când un test pică depinde de ce e în joc: pentru cifre critice, încărcarea se oprește (fail-closed) și cineva se uită; pentru rest, rândurile suspecte merg în carantină și restul trece. Fiecare set de date are un proprietar și un SLA, iar cauza se repară în amonte, nu în raport. Raportul e locul unde afli; nu e locul unde repari.
Calitatea nu e doar construită în pipeline; pipeline-ul poate învăța. Fiecare rând carantinat e un semnal, nu doar gunoi de aruncat. Dacă aceeași verificare pică des, contractul de la intrare e prea slab și merită strâns. Astfel testul de ieri devine regula de azi, iar inspecția se mută tot mai devreme, până dispare aproape. Gândește-te la un magazin care primește facturi electronice. Prima dată, un total greșit e prins de un test și rândul merge în carantină. După a treia oară, adaugi în contract regula că totalul trebuie să corespundă liniilor, iar furnizorul e notificat. Luna următoare, eroarea nu mai ajunge deloc în sistem. Asta schimbă rolul echipei de date: mai puțin detectiv, mai mult arhitect de reguli. Raportul devine istoric, nu alarmă. Pasul următor e să întrebi cine are autoritatea să strângă contractul — și ce se întâmplă când furnizorul refuză.
De ce contează Aceeași eroare costă o linie de test la intrare și o săptămână de reconciliere când e găsită în raport. Diferența e locul, nu efortul.