„Această lucrare susține că arhitectura depozitului de date, așa cum o știm astăzi, se va ofili în anii următori și va fi înlocuită de un nou tipar arhitectural, Lakehouse, care (i) se va baza pe formate deschise, cu acces direct, precum Apache Parquet, (ii) va avea suport de prim rang pentru învățare automată și știința datelor și (iii) va oferi performanță de ultimă generație.”Michael Armbrust, Ali Ghodsi, Reynold Xin, Matei Zaharia · Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics · 2021 · Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics, CIDR 2021 — rezumat
Bronze e dovada, silver e adevărul curățat, gold e răspunsul.
Data lake-ul a promis stocare ieftină pentru orice: fișiere Parquet pe stocare de obiecte, fără schemă impusă, fără tranzacții. A livrat, adesea, o mlaștină: nimeni nu știe ce e curat, două joburi scriu peste același director, o citire prinde jumătate dintr-o scriere. Depozitul clasic are tranzacții, schemă și viteză, dar într-un format închis, ca o copie a datelor. Lakehouse-ul pune între ele un format de tabel deschis (Delta, Iceberg, Hudi): un jurnal de metadate peste fișierele Parquet care aduce tranzacții ACID, „time travel” la o versiune anterioară, evoluție de schemă și, mai ales, mai multe motoare — SQL, Spark, un framework de ML — care citesc aceleași fișiere fără copii. Arhitectura medalion organizează straturile: bronze (datele exact cum au sosit, niciodată modificate), silver (curățate, deduplicate, cu tipuri corecte), gold (agregate, modelate pentru consum — de obicei în stea). Regula de aur e că bronze e dovada: orice din silver și gold trebuie să se poată reconstrui din el.
De ce contează Când o transformare se dovedește greșită peste șase luni, singura întrebare care contează e dacă mai ai datele brute. Bronze răspunde da.