‹ Rafturi ■ Data warehouseUn curs în 27 de lecții, fiecare cu o carte, un citat verificat și o lecție video de urmărit pe loc: de la Codd și Inmon la lakehouse și data mesh, modelare dimensională și SCD, ETL/ELT și calitate, pregătirea datelor pentru AI, pseudonimizare, k-anonimitate și confidențialitate diferențială, securitate, cloud sau on-prem, join-uri, indecși și memorie.
27 lecții · 43 min
Traseul de lectură 27 lecții Toate Cu video · 27 Toți autorii Ralph Kimball, Margy Ross · 2
01 Lecția 1 · Un depozit de date nu e o bază de date mai mare, ci una construită pentru altă întrebare. Building the Data Warehouse · W. H. Inmon · 1992 ▶ Lecția video › 02 Lecția 2 · Independența datelor: utilizatorul descrie ce vrea, nu unde stă. A Relational Model of Data for Large Shared Data Banks · E. F. Codd · 1970 ▶ Lecția video › 03 Lecția 3 · Un motor bun la tranzacții e slab la analiză, și invers — nu e un defect, e fizică. “One Size Fits All”: An Idea Whose Time Has Come and Gone · Michael Stonebraker, Uğur Çetintemel · 2005 ▶ Lecția video › 04 Lecția 4 · Declară granularitatea înainte de orice; restul modelului decurge din ea. The Data Warehouse Toolkit · Ralph Kimball, Margy Ross · 2013 ▶ Lecția video › 05 Lecția 5 · Data Vault separă ce e stabil (cheile), ce leagă (relațiile) și ce se schimbă (atributele). Data Vault Series 1 — Data Vault Overview · Dan Linstedt · 2002 ▶ Lecția video › 06 Lecția 6 · Lakehouse: fișiere deschise pe stocare de obiecte, cu tranzacții și schemă deasupra. Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics · Michael Armbrust, Ali Ghodsi, Reynold Xin, Matei Zaharia · 2021 ▶ Lecția video › 07 Lecția 7 · Data mesh mută proprietatea datelor la domeniul care le produce; platforma și regulile rămân comune. Data Mesh Principles and Logical Architecture · Zhamak Dehghani · 2020 ▶ Lecția video › 08 Lecția 8 · Stocarea pe coloane, compresia și execuția vectorizată sunt de ce o interogare pe un miliard de rânduri durează secunde. C-Store: A Column-oriented DBMS · Michael Stonebraker et al. · 2005 ▶ Lecția video › 09 Lecția 9 · Log-ul e sursa adevărului; baza de date e un cache al ultimei valori din log. The Log: What every software engineer should know about real-time data's unifying abstraction · Jay Kreps · 2013 ▶ Lecția video › 10 Lecția 10 · Contabilii nu folosesc radiera: înregistrezi fapte, derivezi stări și recalculezi când ai greșit. Immutability Changes Everything · Pat Helland · 2015 ▶ Lecția video › 11 Lecția 11 · SCD tip 2: când un atribut se schimbă, nu suprascrii — adaugi un rând și închizi perioada celui vechi. The Data Warehouse Toolkit · Ralph Kimball, Margy Ross · 2013 ▶ Lecția video › 12 Lecția 12 · Datele supraviețuiesc codului: orice schimbare de schemă trebuie citită și de codul vechi, și de cel nou. Designing Data-Intensive Applications · Martin Kleppmann · 2017 ▶ Lecția video › 13 Lecția 13 · ELT mută transformarea în depozit; ce rămâne de proiectat sunt orchestrarea și idempotența. Fundamentals of Data Engineering · Joe Reis, Matt Housley · 2022 ▶ Lecția video › 14 Lecția 14 · Calitatea se construiește în pipeline, nu se inspectează în raport. Out of the Crisis · W. Edwards Deming · 1986 ▶ Lecția video › 15 Lecția 15 · Gunoi la intrare, gunoi la ieșire — iar proveniența e singurul mod de a afla pe unde a intrat gunoiul. Passages from the Life of a Philosopher · Charles Babbage · 1864 ▶ Lecția video › 16 Lecția 16 · Pregătirea datelor pentru ML: același depozit, dar cu timpul corect, fără scurgeri și cu trăsături reproductibile. The Unreasonable Effectiveness of Data · Alon Halevy, Peter Norvig, Fernando Pereira · 2009 ▶ Lecția video › 17 Lecția 17 · Embeddings: sensul devine un vector, iar depozitul primește o coloană pe care nu o poate compara cu «=». A synopsis of linguistic theory 1930–1955 · John Rupert Firth · 1957 ▶ Lecția video › 18 Lecția 18 · Separă identitatea de fapte: un seif de identități, un token în depozit și nicio cale înapoi fără cheie. Regulamentul general privind protecția datelor (GDPR) · Parlamentul European și Consiliul Uniunii Europene · 2016 ▶ Lecția video › 19 Lecția 19 · Datele personale sunt un pasiv: inventariază-le, colectează minim, păstrează cu termen și șterge demonstrabil. Data Is a Toxic Asset, So Why Not Throw It Out? · Bruce Schneier · 2016 ▶ Lecția video › 20 Lecția 20 · Fără nume nu înseamnă anonim: codul poștal, data nașterii și sexul identifică majoritatea oamenilor. k-anonymity: a model for protecting privacy · Latanya Sweeney · 2002 ▶ Lecția video › 21 Lecția 21 · Confidențialitatea diferențială: adaugi zgomot calibrat la răspuns, nu la date, și promisiunea rezistă la orice alt set publicat. The Algorithmic Foundations of Differential Privacy · Cynthia Dwork, Aaron Roth · 2014 ▶ Lecția video › 22 Lecția 22 · Depozitul e cea mai mare țintă din firmă fiindcă adună totul; apărarea e privilegiul minim, aplicat pe rânduri și coloane, cu audit. The Protection of Information in Computer Systems · Jerome Saltzer, Michael Schroeder · 1975 ▶ Lecția video › 23 Lecția 23 · Cloud sau on-prem nu e o întrebare despre loc, ci despre cine operează ce și cât costă la gol față de vârf. All Things Distributed · Werner Vogels · 2008 ▶ Lecția video › 24 Lecția 24 · Un join se execută în trei feluri, iar cele 3% critice ale lui Knuth sunt, într-un depozit, aproape întotdeauna un join. Structured Programming with go to Statements · Donald Knuth · 1974 ▶ Lecția video › 25 Lecția 25 · Într-un depozit columnar, structura de date e așezarea pe disc: partiția și ordinea decid câte blocuri nu trebuie citite. Mesaj pe lista de discuții git · Linus Torvalds · 2006 ▶ Lecția video › 26 Lecția 26 · Fiecare treaptă a memoriei e de o sută de ori mai lentă decât cea de deasupra; o interogare e rapidă exact cât rămâne pe treapta de sus. Tape is Dead, Disk is Tape, Flash is Disk, RAM Locality is King · Jim Gray · 2006 ▶ Lecția video › 27 Lecția 27 · La ce să fii atent: depozitele nu mor de tehnologie, mor de lipsa unui model, a unui proprietar și a unui utilizator. The Mythical Man-Month · Frederick P. Brooks Jr. · 1975 ▶ Lecția video ›