Modul 7 – Spark Streaming & Structured Streaming

Vad är den grundläggande idén i Discretized Streams (DStreams)?

Att dela upp dataströmmen i korta tidsintervall av små batchjobb (micro-batches) bestående av vanliga RDDs.

Vad är Structured Streaming och "Unbounded Table"-modellen?

Att behandla den inkommande strömmen som en oändlig tabell där varje ny händelse appendas som en ny rad.

Vilka är de tre Output Modes i Spark Structured Streaming?

1. Append (skriver bara nya rader), 2. Complete (skriver hela uppdaterade tabellen), 3. Update (skriver endast ändrade rader).

Varför krävs Checkpointing vid tillståndskänslig (stateful) strömning i Spark?

För att spara intermediära aggregat och bearbetade offsets till beständig lagring så att strömmen kan återhämta sig vid nodfel.

Vilka tre komponenter krävs för End-to-End Exactly-Once i ett strömningssystem?

1. Replayable Source (Kafka), 2. Deterministisk beräkningsmotor med checkpoints (Spark), 3. Idempotent eller transaktionell Sink.

Vad innebär en Idempotent Sink?

Att samma skrivoperation kan köras flera gånger med samma data utan att slutresultatet ändras eller dupliceras (t.ex. överskrivning på unik nyckel).