Modul 4 – Data Lakes, Lakehouses & Delta Lake

Vad är den historiska utvecklingen från Data Warehouse till Lakehouse?

Warehouse (strukturerat, dyrt) -> Data Lake (billig ostrukturerad rådata) -> Lakehouse (ACID och struktur direkt på Data Lake).

Vad är den centrala komponenten i Delta Lake som möjliggör ACID?

DeltaLog (_delta_log-mappen) som lagrar ändringar som ordnade JSON-commits.

Vad är Parquet Checkpoint-filer i Delta Lake?

Filer i Parquet-format som skapas var 10:e commit för att snabba upp läsningen av tabellens aktuella tillstånd.

Hur hanterar Delta Lake samtidiga skrivningar utan lås?

Via Optimistic Concurrency Control (OCC); vid konflikt mellan två skrivningar avbryts den ena och försöks om automatiskt.

Vad innebär Schema Enforcement (Schema Validation) i Delta Lake?

Att skrivningar automatiskt avvisas om inkommande data har felaktiga datatyper eller kolumner som inte finns i tabellen.

Vad innebär Schema Evolution i Delta Lake?

Att tabellens schema tillåts expandera med nya kolumner vid skrivning via flaggan .option("mergeSchema", "true").

Vad är Time Travel i Delta Lake?

Möjligheten att ställa frågor mot tabellen som den såg ut vid en historisk tidpunkt eller commit-version.

Vad är "Small File Problem" i datasjöar och hur löser Delta Lake det?

Många strömmande skrivningar skapar tusentals småfiler som sänker läsprestanda; OPTIMIZE (compaction) slår ihop dem till stora filer.

Vad är skillnaden mellan Z-Ordering och Liquid Clustering i Delta Lake?

Z-Ordering kräver manuella och dyra sorteringsjobb; Liquid Clustering anpassar datalayouten dynamiskt utan fasta partitioner.