Angewandte Stochastik – Zusammenfassung Kapitel 1-12

Kapitel 1 – Endliche diskrete Wahrscheinlichkeitsräume

• Typische Fragestellungen (Würfel, Krankheitstests, Schafkopf)
• Definition endlicher diskreter Wahrscheinlichkeitsraum: $(\Omega,\,\mathcal P(\Omega),\,P)$ mit $P(\Omega)=1$ und $P(A)=\sum_{\omega\in A}P({\omega})$
• Begriffe
  • Grundraum/Ergebnisraum $\Omega$
  • Ereignis $A\subset \Omega$, Ereignisraum $\mathcal P(\Omega)$
  • Elementarereignis ${\omega}$, unmögliches Ereignis $\emptyset$, sicheres Ereignis $\Omega$
  • Zahldichte $\rho(\omega)=P({\omega})$
  • Diskretes Wahrscheinlichkeitsmaß $P$
• Eigenschaften (Satz 1.5)
  • $0\le P(A)\le1$, $P(\emptyset)=0$, $P(\Omega)=1$
  • Endliche Additivität, Subtraktivität, Monotonie, Gegenereignisformel $P(A^{c})=1-P(A)$
  • Starke Additivität, Subadditivität, $\sigma$-Additivität
• Mengenoperationen bei Ereignissen – Vereinigung bedeutet „mindestens eins“, Durchschnitt „alle“
• Diracmaß $\delta_a$, Bernoulli-Maß $b(1,p)$, Laplace-Raum $P(A)=|A|/|\Omega|$
• Urnenmodelle (4 Fälle)
  • Mit/ohne Zurücklegen × geordnet/ungeordnet: Kardinalitäten $|\Omega<em>1|=\frac{N!}{(N-n)!},\;|\Omega</em>2|=N^{n},\;|\Omega<em>3|={N\choose n},\;|\Omega</em>4|={N+n-1\choose n}$
• Beispiele
  • Lotto $6\text{ aus }49$ ⇒ $P(6\text{ Richtige})=1/{49\choose 6}\approx7.2\cdot10^{-8}$
  • Dreimal würfeln: $P(\text{3 Sechsen})=1/216$, $P(\text{genau 2 Sechsen})=15/216$
  • Schafkopf: $P(\text{alle Ober+Unter})=1/10\,518\,300$
• Wichtig: Begriffe, Satz 1.5, Laplaceexperimente, Urnenmodelle sicher beherrschen

Kapitel 2 – Bedingte Wahrscheinlichkeit & Bayes

• Definition: $P(A\mid B)=\frac{P(A\cap B)}{P(B)}$ für P(B)>0
• Multiplikationsformel: $P(A<em>1\cap\dots\cap A</em>n)=P(A<em>1)P(A</em>2\mid A_1)\dots$
• Satz der totalen Wahrscheinlichkeit: $P(A)=\sum<em>{i}P(B</em>i)P(A\mid B_i)$
• Bayes-Formel: $P(B<em>j\mid A)=\frac{P(B</em>j)P(A\mid B<em>j)}{\sum</em>i P(B<em>i)P(A\mid B</em>i)}$
• Alarmanlagen-Beispiel ⇒ $P(E\mid A)\approx0.198$ (nur 1 von 5 Alarmen echt)
• HIV-Screening analoge Berechnung
• Wichtig: Bedingte W’keiten erkennen & Bayes anwenden

Kapitel 3 – Unabhängigkeit & Produktmaß

• Zwei Ereignisse unabhängig ⇔ $P(A\cap B)=P(A)P(B)$
  • Equivalent bei P(A),P(B)>0 zu $P(A\mid B)=P(A)$
• Paarweise vs. totale Unabhängigkeit (Lemma 3.6)
• Produktmaß $P=P<em>1\otimes\dots\otimes P</em>n$ mit Zahldichte $\rho(\omega<em>1,\dots,\omega</em>n)=\prod<em>i\rho</em>i(\omega_i)$
• Modell: n-maliger Münzwurf $b(1,p)^{\otimes n}$, Zahldichte $p^{k}(1-p)^{n-k}$
• Folge von Ereignissen/Zufallsvariablen unabh.: jede endliche Teilmenge unabh.
• Wichtig: Definitionen, Unterschied paarweise/gesamt, Modellierung im Produktraum

Kapitel 4 – Abzählbarkeit & unendliche diskrete Räume

• Abzählbar ⇔ surjektive Abbildung $\varphi:\mathbb N\to A$
• Vereinigung abzählbarer Mengen abzählbar, kartesisches Produkt endlicher Anzahl abzählbar
• Diskreter Raum nun: $\Omega$ abzählbar; Formeln wie in Kap 1, aber $\sigma$-Additivität zwingend nötig
• Spezielle Verteilungen
  • Poisson $\rho(n)=e^{-\lambda}\lambda^{n}/n!$
  • Geometrisch $\rho(n)=p(1-p)^{n-1}$
  • Binomial $b(n,p):\;\rho(k)={n\choose k}p^{k}(1-p)^{n-k}$
• Wichtig: Begriffe Abzählbarkeit, neue Verteilungen

Kapitel 5 – Zufallsvariablen, Verteilungen, Faltung

• Zufallsvariable $X: \Omega\to\mathbb R$, Zufallsvektor $X:\Omega\to\mathbb R^{m}$
• Verteilung $P<em>X$ auf $(M,\mathcal P(M))$: $P</em>X(C)=P(X\in C)$, Zahldichte $\rho_X(y)=P(X=y)$
• Verteilungsfunktion $F_X(x)=P(X\le x)$, Eigenschaften: monoton, rechtsstetig, $F(-\infty)=0,F(\infty)=1$
• Gemeinsame Verteilung $P<em>{(X</em>1,\dots,X<em>n)}$, Randverteilungen $P</em>{X_i}$; Rand bestimmen nicht eindeutig die gemeinsame
• Unabhängige Zufallsvariablen: Ereignisse ${X<em>i\in C</em>i}$ unabhängig; äquivalente Aussagen mit Verteilungsfunktionen
• Faltungsformel (diskret): $\rho<em>{X+Y}(z)=\sum</em>{y}\rho<em>X(z-y)\rho</em>Y(y)$
  • Anwendungen: (\operatorname{Pois}(\lambdaX)+\operatorname{Pois}(\lambdaY)=\operatorname{Pois}(\lambdaX+\lambdaY)), Binomial-Summe
• Konstruktion: Funktionen unabhängiger Variablen bleiben unabhängig; Aufteilung in Blöcke etc.
• Wichtig: Verteilung, Faltungsformel, Konstruktion neuer unabhängiger Variablen

Kapitel 6 – Erwartungswert & Momente (diskret/abzählbar)

• Erwartungswert $E(X)=\sum_{\omega}X(\omega)P({\omega})$
• Transformationsformel: $E(f(X))=\sum_{x}f(x)P(X=x)$
• Rechenregeln: Linearität, Monotonie, $|E(X)|\le E(|X|)$, für unabh.
  $E(XY)=E(X)E(Y)$
• n-tes Moment $E(X^{n})$, absolutes Moment $E(|X|^{n})$
• Beispiele: Spiel mit zwei Würfen (Erwartungswert 4.47 €), $E(X^2)$ beim Würfeln = $91/6$
• Gefahr nicht-existierender Erwartungswerte (Beispiel mit $X(n)=(-1)^n2^n$)
• Wichtig: Berechnung, Regeln, Existenzkriterien

Kapitel 7 – Varianz, Kovarianz, Korrelation

• Varianz $\operatorname{Var}(X)=E\bigl((X-E(X))^{2}\bigr)=E(X^{2})-(E(X))^{2}$, Standardabweichung $\sigma_X$
• Beispiele: Binomial $\operatorname{Var}(X)=np(1-p)$; Poisson $\operatorname{Var}=\lambda$
• Rechenregeln: $\operatorname{Var}(aX+b)=a^{2}\operatorname{Var}(X)$; Summe unabhängiger Varianzen addiert
• Kovarianz $\operatorname{Cov}(X,Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y)$
  • Symmetrie, Bilinearität, $\operatorname{Var}(X)=\operatorname{Cov}(X,X)$
  • Unabhängig ⇒ unkorreliert, nicht umgekehrt
• Cauchy–Schwarz: $|E(XY)|\le\sqrt{E(X^{2})}\sqrt{E(Y^{2})}$; daher $|\operatorname{Corr}(X,Y)|\le1$
  • $\operatorname{Corr}=\pm1$ ⇔ linearer Zusammenhang a.s.
• Markov-Ungleichung $P(|X|\ge\varepsilon)\le E(|X|^{\gamma})/\varepsilon^{\gamma}$, Tschebyscheff $P(|X-E(X)|\ge\varepsilon)\le \operatorname{Var}(X)/\varepsilon^{2}$
• Kovarianzmatrix $(\operatorname{Cov}(X<em>i,X</em>j))$: symmetrisch, positiv semidefinit
• Wichtig: Formeln, Ungleichungen, Interpretation Korrelation

Kapitel 8 – Poisson-Grenzwert, Gesetze der großen Zahlen, CLT (diskret)

• Poissonscher Grenzwertsatz: $b(n,p<em>n)\xrightarrow[n\to\infty]{}\operatorname{Pois}(\lambda)$ falls $n p</em>n\to\lambda$
  • Modelle: Schäden $\operatorname{Pois}(\alpha t)$, Selbstmorde Stadt (λ ≈ 36), Geburtstage $\lambda=91/365$
• Schwaches Gesetz der großen Zahlen (diskret): für paarweise unkorrelierte $X<em>i$ mit Varianzen $\le M$ ⇒ $\frac1n\sum X</em>i \xrightarrow{P} \mu$
• Standardisierung Binomial: $S<em>n^{*}=\frac{S</em>n-np}{\sqrt{npq}}$
• Zentr. Grenzwertsatz für Binomial (de Moivre–Laplace): $S_n^{*}\xrightarrow{d}\mathcal N(0,1)$ ⇒ Approximation mittels $\Phi$
• Funktionen
  • Dichte $\varphi(x)=\frac1{\sqrt{2\pi}}e^{-x^{2}/2}$
  • Verteilungsfunktion $\Phi(x)=\int_{-\infty}^{x}\varphi(t)dt$, Eigenschaften: Symmetrie $\Phi(-x)=1-\Phi(x)$
• Wahlprognose-Beispiel: benötigtes $n\ge9604$ für ±1 %-Genauigkeit mit 95 % Sicherheit (Worst-Case $p=0.5$)
• Wichtig: Poisson-Approx., WLLN, CLT, Umgang mit $\Phi$

Kapitel 9 – Allgemeine Wahrscheinlichkeitsräume & stetige Verteilungen

• Notwendigkeit von $\sigma$-Algebren; Definition: Menge $\mathcal F \subset 2^{\Omega}$ mit (i) $\Omega\in\mathcal F$, (ii) Abschluss unter Komplement, (iii) abzählbare Vereinigungen
• Borelsche $\sigma$-Algebra $\mathcal B_1$ auf $\mathbb R$: kleinste $\sigma$-Alg., die Intervalle enthält; enthält praktisch alle „vernünftigen“ Mengen
• Wahrscheinlichkeitsmaß allgemein: $P:\mathcal F\to[0,1]$, $P(\Omega)=1$, $\sigma$-additiv
• Dichten: f nichtnegativ, $\int f =1$ ⇒ $P((a,b))=\int_a^b f$
  • Normalverteilung $\mathcal N(\mu,\sigma^{2})$, Dichte $\varphi_{\mu,\sigma^{2}}$
  • Gleichverteilung auf $[a,b]$, Dichte $1/(b-a)$
  • Exponentialverteilung $\operatorname{Expo}(\lambda)$, Dichte \lambda e^{-\lambda t}\,1_{t>0}
• Verteilungsfunktion allgemeinermaßen charakterisiert Maß (Satz 9.22)
• Für Dichte-Maße gilt $P({x})=0$
• Wichtig: $\sigma$-Algebra, Borel, stetige Standardverteilungen, Dichten/Verteilungsfunktionen

Kapitel 10 – Zufallsvariablen in stetigen Räumen & Faltung (stetig)

• Zufallsvariable messbar: ${X\le x}\in\mathcal F$ für alle x ⇒ auch für alle Borelmengen
• Verteilung $P<em>X$ ist Maß auf $(\mathbb R,\mathcal B</em>1)$; Verteilungsfunktion $F_X$
• Stetige Funktion g: $g(X)$ ist Zufallsvariable
• Dichte-Transformation: bei bijektiver stetig diff. $g$ mit $g'\neq0$: $f<em>{g(X)}(x)=\frac{f</em>X(g^{-1}(x))}{|g'(g^{-1}(x))|}$
  • Beispiel: Lineare Transformation Normal ⇒ $\mathcal N((\mu-b)/a,\sigma^{2}/a^{2})$
• Unabhängigkeit Definition analog; Stabilität unter stetigen Funktionen (Satz 10.13)
• Faltungsformel stetig: $f<em>{X+Y}(x)=\int</em>{-\infty}^{\infty} f<em>X(x-y)f</em>Y(y)dy$
  • $\mathcal N(\mu<em>X,\sigma</em>X^{2})+\mathcal N(\mu<em>Y,\sigma</em>Y^{2})=\mathcal N(\mu<em>X+\mu</em>Y,\sigma<em>X^{2}+\sigma</em>Y^{2})$
• Wichtig: Messbarkeit, Dichte-Transformation, stetige Faltung

Kapitel 11 – Erwartungswert, Varianz, Kovarianz (stetig)

• Erwartungswert für Dichte $f$: $E(X)=\int_{-\infty}^{\infty} x f(x)dx$; allgemein via Integrale
• Transformationssatz analog; Momente $E(X^{n})$ etc.
• Varianz/Kovarianz/Korrelation und alle Rechenregeln gelten wie in diskretem Fall, aber Integrale statt Summen
• Beispiel: Normalverteilung $E(X)=\mu,\;\operatorname{Var}=\sigma^{2}$
• Tschebyscheff & Markov bleiben gültig
• Wichtig: Anwendung der Integralformeln

Kapitel 12 – Konvergenzbegriffe & starke Ergebnisse

• Konvergenzarten
  • Fast sichere Konvergenz: $P({\omega: \lim Y_n(\omega)=Y(\omega)})=1$
  • Stochastische Konvergenz: $Y<em>n \xrightarrow{P} Y$ wenn $P(|Y</em>n-Y|\ge\varepsilon)\to0$
  • Konvergenz in Verteilung: $F<em>{Y</em>n}(x)\to F_Y(x)$ an Stetigkeitsstellen
  • Hierarchie: a.s. ⇒ stochastisch ⇒ in Verteilung (Umkehrungen falsch)
• Schwaches Gesetz der großen Zahlen (allgemein): paarweise unkorrelierte $X<em>i$, Var begrenzt ⇒ $\bar X</em>n \xrightarrow{P} \mu$
• Starkes Gesetz: identisch verteilt & unabhängig ⇒ $\bar X_n \xrightarrow{a.s.} \mu$
• Zentraler Grenzwertsatz (iid mit $\mu,\sigma^{2}$): $S<em>n^{*}=\frac{\sum X</em>i-n\mu}{\sigma\sqrt n}\xrightarrow{d}\mathcal N(0,1)$
• Anwendung: relative Häufigkeit konvergiert fast sicher; CLT erlaubt Normal-Approximation beliebiger i.i.d.
• Wichtig: Definitionen, SLLN/WLLN, allgemeiner CLT

Gesamthafter Überblick – Thematische Querverbindungen

• Diskret vs. stetig: dieselben formalen Strukturen (Maß, $\sigma$-Algebra, Erwartungen, Varianzen) mit Summen bzw. Integralen
• Unabhängigkeit zentral für Produktmaße, Gesetz der großen Zahlen, CLT, Faltungsformeln
• Approximationen: Poisson für seltene Ereignisse, Normal für Summen vieler i.i.d.
• Ungleichungen (Markov, Tschebyscheff, Cauchy–Schwarz) liefern Abschätzungen für Wahrscheinlichkeiten und Momente
• Praktische Relevanz: Qualitätskontrolle, Risiko (Versicherung, Alarmanlagen), Statistik (Wahlprognosen), Kombinatorik (Lotto, Kartenspiele)