1/10
Looks like no tags are added yet.
När används en Broadcast Hash Join (BHJ) i Spark?
När den ena tabellen är tillräckligt liten för att rymmas i minnet på en enskild nod (under tröskeln spark.sql.autoBroadcastJoinThreshold).
Vad är den stora fördelen med Broadcast Hash Join jämfört med Sort-Merge Join?
Den lilla tabellen skickas ut till alla noder (broadcast), vilket eliminerar ett kostsamt Shuffle-steg för den stora tabellen.
När används Sort-Merge Join (SMJ) i Spark?
När båda tabellerna är stora; båda tabellerna shufflas på join-nyckeln så att matchande rader hamnar på samma nod och sorteras lokalt.
Vad är Dynamic Partition Pruning (DPP) i Spark?
En körtidsoptimering där ett filter på en dimensionstabell dynamiskt skickas till faktatabellen vid en join för att hoppa över partitioner.
Vad är Adaptive Query Execution (AQE) i Spark?
En funktion som omoptimerar frågeplanen dynamiskt i körtid (runtime) baserat på statistik insamlad mellan olika stages.
Vilka är de tre huvudfunktionerna i AQE?
1. Coalescing shuffle partitions, 2. Dynamic join switching, 3. Skew join handling.
Vad gör "Coalescing Shuffle Partitions" i AQE?
Slår dynamiskt ihop många små eller tomma shuffle-partitioner till färre större för att minska task-overhead.
Vad gör "Dynamic Join Switching" i AQE?
Om en tabell efter filtrering i steg 1 visar sig vara mindre än broadcast-tröskeln, byter AQE planen från Sort-Merge till Broadcast Hash Join.
Vad är Data Skew i distribuerade beräkningar?
När enstaka nycklar har extremt mycket mer data än andra, vilket gör att en task tar mycket längre tid än alla andra (straggler).
Hur hanterar AQE Data Skew vid joins (Skew Join Handling)?
AQE upptäcker överstora partitioner i körtid, delar upp dem i mindre delar och duplicerar motsvarande nyckel på motparten.
Vad betyder symbolen *(1) eller *(2) i en Spark `explain("formatted")`-plan?
Att operatorerna körs inom samma Whole-Stage Code Generation-loop kompilerad av Project Tungsten.