Modul 6 – Spark Prestandajustering & Adaptive Query Execution (AQE)

0.0(0)
Studied by 0 people
call kaiCall Kai
learnLearn
examPractice Test
spaced repetitionSpaced Repetition
heart puzzleMatch
flashcardsFlashcards
GameKnowt Play
Card Sorting

1/10

encourage image

There's no tags or description

Looks like no tags are added yet.

11 Terms

1
New cards

När används en Broadcast Hash Join (BHJ) i Spark?

När den ena tabellen är tillräckligt liten för att rymmas i minnet på en enskild nod (under tröskeln spark.sql.autoBroadcastJoinThreshold).

2
New cards

Vad är den stora fördelen med Broadcast Hash Join jämfört med Sort-Merge Join?

Den lilla tabellen skickas ut till alla noder (broadcast), vilket eliminerar ett kostsamt Shuffle-steg för den stora tabellen.

3
New cards

När används Sort-Merge Join (SMJ) i Spark?

När båda tabellerna är stora; båda tabellerna shufflas på join-nyckeln så att matchande rader hamnar på samma nod och sorteras lokalt.

4
New cards

Vad är Dynamic Partition Pruning (DPP) i Spark?

En körtidsoptimering där ett filter på en dimensionstabell dynamiskt skickas till faktatabellen vid en join för att hoppa över partitioner.

5
New cards

Vad är Adaptive Query Execution (AQE) i Spark?

En funktion som omoptimerar frågeplanen dynamiskt i körtid (runtime) baserat på statistik insamlad mellan olika stages.

6
New cards

Vilka är de tre huvudfunktionerna i AQE?

1. Coalescing shuffle partitions, 2. Dynamic join switching, 3. Skew join handling.

7
New cards

Vad gör "Coalescing Shuffle Partitions" i AQE?

Slår dynamiskt ihop många små eller tomma shuffle-partitioner till färre större för att minska task-overhead.

8
New cards

Vad gör "Dynamic Join Switching" i AQE?

Om en tabell efter filtrering i steg 1 visar sig vara mindre än broadcast-tröskeln, byter AQE planen från Sort-Merge till Broadcast Hash Join.

9
New cards

Vad är Data Skew i distribuerade beräkningar?

När enstaka nycklar har extremt mycket mer data än andra, vilket gör att en task tar mycket längre tid än alla andra (straggler).

10
New cards

Hur hanterar AQE Data Skew vid joins (Skew Join Handling)?

AQE upptäcker överstora partitioner i körtid, delar upp dem i mindre delar och duplicerar motsvarande nyckel på motparten.

11
New cards

Vad betyder symbolen *(1) eller *(2) i en Spark `explain("formatted")`-plan?

Att operatorerna körs inom samma Whole-Stage Code Generation-loop kompilerad av Project Tungsten.