Modul 6 – Spark SQL, Catalyst Optimizer & Tungsten

Vad är skillnaden mellan en DataFrame och ett Dataset i Spark?

En DataFrame är en samling otypade Rows (typkoll sker i körtid); ett Dataset har stark kompileringstypsäkerhet mot case-klasser.

Varför introducerades Spark SQL och strukturerade API:er?

För att ge Spark insikt i datats schema och typer, vilket möjliggör automatisk frågeoptimering via relationell algebra.

Vilken komponent optimerar frågor i Spark SQL och vilka är dess 4 faser?

Catalyst Optimizer: 1. Unresolved Logical Plan, 2. Analyzed Logical Plan, 3. Optimized Logical Plan, 4. Physical Planning.

Vad gör Catalyst Optimizer under "Analyzed Logical Plan"?

Kopplar tabell- och kolumnnamn mot schemainformation i datakatalogen (Catalog) för att säkerställa att fälten finns och har rätt typ.

Vad innebär "Predicate Pushdown" i Spark SQL?

Att filtreringsvillkor (WHERE/filter) trycks ner till lagringsnivån så att icke-matchande rader aldrig ens läses in från disk.

Vad innebär "Projection Pruning" i Catalyst Optimizer?

Att kolumner som inte används i frågan sållas bort tidigt så att onödig data inte belastar minnet.

Vad är Project Tungsten och vilka är dess tre pelare?

Sparks hårdvarunära optimeringsmotor: 1. Off-Heap Memory, 2. Cache-Aware Memory Layout, 3. Whole-Stage Code Generation.

Vad innebär Off-Heap Memory Management i Project Tungsten?

Spark allokerar minne direkt som råa byte-arrayer utanför JVM-heapen för att helt undvika dyr Java Garbage Collection (GC).

Vad innebär Whole-Stage Code Generation i Project Tungsten?

Att hela frågeplanens operationer kompileras ihop till en enda optimerad Java-bytecode-loop i körtid, vilket tar bort funktionsanrop.