Statistik und Experimente

Was ist deskriptive Statistik?

• Beschreibt und verdichtet vorhandene Daten | • Typische Kennzahlen: Mittelwert, Median, Streuung, Häufigkeiten | • Erlaubt noch keine Verallgemeinerung auf eine Population

Was ist Inferenzstatistik?

• Zieht aus einer Stichprobe Rückschlüsse auf eine Population | • Nutzt Wahrscheinlichkeitsmodelle | • Beispiele: Konfidenzintervalle und Hypothesentests

Was ist eine Population?

• Gesamtheit aller Einheiten, über die eine Aussage getroffen werden soll | • Beispiel: alle Kundinnen und Kunden eines Unternehmens | • Meist wird nur eine Stichprobe beobachtet

Was ist eine Stichprobe?

• Beobachtete Teilmenge einer Population | • Soll die relevante Population möglichst gut abbilden | • Verzerrte Auswahl kann Ergebnisse unbrauchbar machen

Was ist ein Parameter?

• Unbekannte Eigenschaft der Population | • Beispiele: Populationsmittelwert oder wahre Conversion Rate | • Wird mit Daten aus einer Stichprobe geschätzt

Was ist ein Schätzer?

• Regel zur Schätzung eines unbekannten Parameters | • Beispiel: Stichprobenmittelwert als Schätzer des Populationsmittelwerts | • Ein guter Schätzer sollte möglichst unverzerrt und präzise sein

Was ist der Mittelwert?

• Summe aller Werte geteilt durch ihre Anzahl | • Nutzt alle Beobachtungen | • Empfindlich gegenüber Ausreißern

Was ist der Median?

• Mittlerer Wert der sortierten Daten | • Robuster gegenüber Ausreißern als der Mittelwert | • Besonders nützlich bei schiefen Verteilungen

Was ist der Modus?

• Am häufigsten auftretender Wert | • Auch für kategoriale Daten nutzbar | • Es kann mehrere Modi geben

Wann sollte man Mittelwert statt Median berichten?

• Mittelwert bei ungefähr symmetrischen Daten ohne starke Ausreißer | • Median bei schiefen Daten oder starken Ausreißern | • Entscheidung sollte zur Verteilung und Fragestellung passen

Was ist Varianz?

• Mittlere quadrierte Abweichung vom Mittelwert | • Misst die Streuung einer Variable | • Einheit ist quadriert und daher weniger intuitiv

Was ist Standardabweichung?

• Quadratwurzel der Varianz | • Misst typische Streuung um den Mittelwert | • Hat dieselbe Einheit wie die ursprüngliche Variable

Was ist der Interquartilsabstand?

• Differenz zwischen dem 75. und 25. Perzentil | • Beschreibt die mittleren 50 Prozent der Daten | • Robust gegenüber Ausreißern

Was ist ein Perzentil?

• Wert, unter dem ein bestimmter Anteil der Beobachtungen liegt | • 50. Perzentil entspricht dem Median | • Hilfreich zur Einordnung einzelner Werte

Was ist ein Ausreißer?

• Beobachtung, die stark vom übrigen Datenmuster abweicht | • Kann Fehler oder echte seltene Variation darstellen | • Nicht automatisch löschen, sondern Ursache prüfen

Was ist eine Normalverteilung?

• Symmetrische glockenförmige Verteilung | • Durch Mittelwert und Standardabweichung bestimmt | • Viele Verfahren setzen Normalität der Fehler, nicht zwingend der Rohdaten, voraus

Was bedeutet Schiefe einer Verteilung?

• Beschreibt asymmetrische Verteilungen | • Rechtsschief: langer rechter Rand, oft Mittelwert größer als Median | • Linksschief: langer linker Rand

Was ist eine Bernoulli-Verteilung?

• Modelliert einen einzelnen binären Versuch | • Zwei mögliche Ausgänge, z. B. Kauf oder kein Kauf | • Parameter p ist die Erfolgswahrscheinlichkeit

Was ist eine Binomialverteilung?

• Modelliert die Anzahl von Erfolgen in n unabhängigen Bernoulli-Versuchen | • Erfolgswahrscheinlichkeit p bleibt konstant | • Beispiel: Anzahl von Käufen unter 100 Kontakten

Was ist eine Poisson-Verteilung?

• Modelliert Zählwerte in einem Zeit- oder Raumintervall | • Typisch für seltene, unabhängige Ereignisse | • Mittelwert und Varianz sind im Grundmodell gleich

Was ist der Standardfehler?

• Misst die Unsicherheit eines Schätzers | • Für den Mittelwert ungefähr Standardabweichung geteilt durch Quadratwurzel von n | • Wird mit größerer Stichprobe kleiner

Was ist ein Konfidenzintervall?

• Bereich plausibler Werte für einen Populationsparameter | • Ein 95-Prozent-Verfahren deckt bei Wiederholung in etwa 95 Prozent der Fälle den wahren Wert ab | • Es ist keine direkte Wahrscheinlichkeit, dass der feste Parameter im konkreten Intervall liegt

Was beeinflusst die Breite eines Konfidenzintervalls?

• Stichprobengröße | • Streuung der Daten | • Gewähltes Konfidenzniveau

Was ist eine Nullhypothese?

• Formale Ausgangsannahme eines Tests | • Oft: kein Unterschied oder kein Zusammenhang | • Wird mit den beobachteten Daten geprüft

Was ist die Alternativhypothese?

• Beschreibt den vermuteten Effekt oder Unterschied | • Kann einseitig oder zweiseitig formuliert sein | • Wird nicht direkt bewiesen, sondern gegen die Nullhypothese abgewogen

Was ist ein p-Wert?

• Wahrscheinlichkeit, unter der Nullhypothese ein mindestens so extremes Ergebnis zu beobachten | • Kleiner p-Wert spricht gegen die Nullhypothese | • Ist weder Effektgröße noch Wahrscheinlichkeit, dass die Nullhypothese wahr ist

Was bedeutet statistische Signifikanz?

• p-Wert liegt unter dem vorher festgelegten Signifikanzniveau | • Zeigt Evidenz gegen die Nullhypothese | • Sagt nichts darüber aus, ob ein Effekt praktisch wichtig ist

Was ist das Signifikanzniveau Alpha?

• Vorab festgelegte Grenze für die Ablehnung der Nullhypothese | • Häufig 0,05 | • Entspricht langfristig der tolerierten Fehler-1.-Art-Rate unter den Testannahmen

Was ist ein Fehler 1. Art?

• Nullhypothese wird fälschlich verworfen | • False Positive | • Wahrscheinlichkeit wird durch Alpha kontrolliert

Was ist ein Fehler 2. Art?

• Ein realer Effekt wird nicht erkannt | • False Negative | • Wahrscheinlichkeit wird mit Beta bezeichnet

Was ist statistische Power?

• Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu erkennen | • Power entspricht 1 minus Beta | • Steigt meist mit größerer Stichprobe, größerem Effekt und geringerem Rauschen

Was ist eine Effektgröße?

• Quantifiziert die Stärke eines Effekts | • Beispiele: Cohen's d, Korrelationskoeffizient, Odds Ratio | • Ergänzt p-Werte um praktische Bedeutung

Was ist Cohen's d?

• Standardisierte Mittelwertsdifferenz zwischen zwei Gruppen | • Differenz der Mittelwerte geteilt durch eine Streuungsgröße | • Interpretation immer im fachlichen Kontext

Was ist eine Korrelation?

• Beschreibt Stärke und Richtung eines Zusammenhangs | • Werte liegen meist zwischen -1 und 1 | • Korrelation beweist keine Kausalität

Was misst Pearson r?

• Linearen Zusammenhang zwischen zwei metrischen Variablen | • Empfindlich gegenüber Ausreißern | • Kann nichtlineare Beziehungen übersehen

Was misst Spearman rho?

• Monotonen Zusammenhang anhand von Rängen | • Robuster gegenüber Ausreißern und nichtnormalen Daten | • Erfasst auch nichtlineare monotone Beziehungen

Warum ist Korrelation nicht gleich Kausalität?

• Drittvariablen können beide Größen beeinflussen | • Umgekehrte Kausalrichtung ist möglich | • Kausale Aussagen benötigen geeignetes Design oder starke Annahmen

Was ist Confounding?

• Eine Drittvariable beeinflusst Exposition und Ergebnis | • Kann einen scheinbaren Zusammenhang erzeugen oder verzerren | • Randomisierung oder geeignete Adjustierung kann helfen

Was ist ein kausaler Effekt?

• Unterschied im Ergebnis unter zwei alternativen Interventionen | • Bezieht sich auf eine hypothetische Gegenüberstellung | • Für dieselbe Einheit sind nie beide potenziellen Ergebnisse gleichzeitig beobachtbar

Was ist Randomisierung?

• Zufällige Zuweisung zu Versuchsbedingungen | • Gleicht bekannte und unbekannte Störvariablen im Erwartungswert aus | • Stärkt kausale Interpretierbarkeit

Was ist eine Kontrollgruppe?

• Vergleichsgruppe ohne neue Intervention oder mit Standardbehandlung | • Ermöglicht Einschätzung, was ohne Intervention passiert wäre | • Muss zur Experimentalgruppe möglichst vergleichbar sein

Was ist ein A/B-Test?

• Randomisiertes Experiment mit mindestens zwei Varianten | • Vergleicht eine Zielmetrik zwischen A und B | • Beispiel: zwei Versionen einer Marketing-E-Mail

Welche Schritte gehören zu einem guten A/B-Test?

• Hypothese und primäre Metrik vorab definieren | • Randomisierung und Stichprobengröße planen | • Laufzeit festlegen und Ergebnis mit Unsicherheit berichten

Was ist die primäre Metrik in einem Experiment?

• Vorab festgelegte wichtigste Zielgröße | • Entscheidung sollte hauptsächlich auf ihr beruhen | • Verhindert nachträgliches Auswählen günstiger Ergebnisse

Was ist eine Guardrail-Metrik?

• Zusätzliche Kennzahl zum Schutz vor unerwünschten Nebenwirkungen | • Beispiel: Conversion steigt, aber Retouren dürfen nicht stark zunehmen | • Ergänzt die primäre Erfolgsmetrik

Warum sollte man einen A/B-Test nicht ständig vorzeitig prüfen?

• Wiederholtes Testen erhöht ohne Korrektur die False-Positive-Rate | • Zufällige frühe Schwankungen können täuschen | • Entweder feste Laufzeit oder sequenzielle Testverfahren verwenden

Was ist Multiple Testing?

• Viele Hypothesentests werden gleichzeitig durchgeführt | • Mit der Anzahl der Tests steigt die Wahrscheinlichkeit zufälliger Treffer | • Korrekturen oder klare Priorisierung sind nötig

Was macht die Bonferroni-Korrektur?

• Teilt Alpha durch die Anzahl der Tests | • Kontrolliert streng die Wahrscheinlichkeit mindestens eines Fehlers 1. Art | • Kann konservativ sein und Power reduzieren

Was ist die False Discovery Rate?

• Erwarteter Anteil falscher Entdeckungen unter allen signifikanten Ergebnissen | • Weniger streng als Family-Wise Error Rate | • Benjamini-Hochberg ist ein häufiges Verfahren

Was ist ein einseitiger Test?

• Prüft einen Effekt nur in einer vorher festgelegten Richtung | • Kann bei korrekter Vorabentscheidung mehr Power haben | • Darf nicht nach Sichtung der Daten gewählt werden

Was ist ein zweiseitiger Test?

• Prüft Abweichungen in beide Richtungen | • Geeignet, wenn positive und negative Effekte relevant sind | • Ist in vielen Anwendungen der Standard

Was ist ein unabhängiger t-Test?

• Vergleicht Mittelwerte zweier unabhängiger Gruppen | • Setzt passende Modellannahmen voraus | • Welch-t-Test ist robust bei ungleichen Varianzen

Was ist ein gepaarter t-Test?

• Vergleicht zwei Messungen derselben Einheiten | • Analysiert die Differenzen innerhalb der Paare | • Beispiel: vor und nach einer Intervention

Wann nutzt man einen nichtparametrischen Test?

• Wenn parametrische Annahmen stark verletzt sind oder Daten ordinal sind | • Beispiele: Mann-Whitney-U und Wilcoxon | • Testet oft Ränge und nicht direkt Mittelwerte

Was ist eine ANOVA?

• Vergleicht Mittelwerte von mehr als zwei Gruppen | • Prüft zunächst, ob mindestens ein Gruppenmittel abweicht | • Bei Signifikanz folgen geplante Kontraste oder Post-hoc-Tests

Was ist lineare Regression?

• Modelliert eine kontinuierliche Zielvariable als lineare Funktion von Features | • Koeffizienten beschreiben erwartete Änderungen bei konstanten übrigen Variablen | • Eignet sich für Schätzung, Erklärung und Prognose

Welche zentralen Annahmen hat lineare Regression?

• Linearität der bedingten Erwartung | • Unabhängige Fehler und konstante Fehlervarianz | • Für klassische Tests zusätzlich geeignete Verteilung der Fehler

Was ist Homoskedastizität?

• Konstante Fehlervarianz über den Wertebereich | • Verletzung heißt Heteroskedastizität | • Robuste Standardfehler können bei Inferenz helfen

Was ist Multikollinearität?

• Starke lineare Abhängigkeit zwischen Prädiktoren | • Kann Koeffizienten instabil und schwer interpretierbar machen | • Vorhersageleistung muss nicht zwingend stark leiden

Was ist logistische Regression?

• Modelliert die Wahrscheinlichkeit eines binären Ergebnisses | • Log-Odds sind linear in den Prädiktoren | • Koeffizienten können über Odds Ratios interpretiert werden

Was ist eine Odds Ratio?

• Verhältnis zweier Odds | • Wert über 1 bedeutet höhere Odds, unter 1 niedrigere Odds | • Nicht mit einem relativen Risiko gleichsetzen

Was ist der Unterschied zwischen Odds und Wahrscheinlichkeit?

• Wahrscheinlichkeit: p | • Odds: p geteilt durch 1 minus p | • Bei seltenen Ereignissen sind Odds und Wahrscheinlichkeit ähnlicher

Was ist eine Interaktion?

• Effekt einer Variable hängt vom Wert einer anderen Variable ab | • Beispiel: Kampagneneffekt unterscheidet sich nach Kundensegment | • Haupteffekte müssen bei Interaktionen sorgfältig interpretiert werden

Was ist ein Konfidenzintervall für einen Regressionskoeffizienten?

• Zeigt plausible Werte für den geschätzten Effekt | • Breite hängt von Unsicherheit und Stichprobengröße ab | • Enthält es 0, ist der zweiseitige Test auf diesem Niveau meist nicht signifikant

Was ist ein Prediction Interval?

• Bereich für einen zukünftigen Einzelwert | • Breiter als ein Konfidenzintervall für den Mittelwert | • Berücksichtigt Parameterschätzung und individuelle Reststreuung

Was ist Bootstrap?

• Wiederholtes Ziehen von Stichproben mit Zurücklegen | • Schätzt Unsicherheit empirisch | • Nützlich für Standardfehler und Konfidenzintervalle

Was ist ein Bayesianischer Ansatz?

• Kombiniert Vorwissen mit beobachteten Daten | • Ergebnis ist eine Posterior-Verteilung | • Erlaubt direkte Wahrscheinlichkeitsaussagen über Parameter

Was ist ein Prior?

• Wahrscheinlichkeitsverteilung vor Beobachtung der aktuellen Daten | • Kann informativ oder schwach informativ sein | • Soll fachlich begründet und transparent sein

Was ist eine Likelihood?

• Beschreibt, wie plausibel die beobachteten Daten für verschiedene Parameterwerte sind | • Ist keine Wahrscheinlichkeitsverteilung über die Parameter | • Verbindet Modell und Daten

Was ist eine Posterior-Verteilung?

• Aktualisierte Verteilung eines Parameters nach Beobachtung der Daten | • Entsteht aus Prior und Likelihood | • Grundlage für Schätzungen und Unsicherheitsaussagen

Was ist ein Credible Interval?

• Bayesianischer Bereich, der mit einer bestimmten Posterior-Wahrscheinlichkeit den Parameter enthält | • Beispiel: 95-Prozent-Credible-Interval | • Interpretation unterscheidet sich vom frequentistischen Konfidenzintervall

Was ist der Unterschied zwischen statistischer und praktischer Relevanz?

• Statistische Relevanz betrifft Evidenz gegen eine Nullhypothese | • Praktische Relevanz betrifft Größe und Nutzen eines Effekts | • Große Stichproben können sehr kleine Effekte signifikant machen

Was bedeutet Repräsentativität?

• Stichprobe bildet die relevante Population ausreichend ab | • Hängt vom Auswahlmechanismus ab, nicht nur von der Stichprobengröße | • Fehlende Repräsentativität begrenzt Generalisierbarkeit

Was ist Selection Bias?

• Teilnahme oder Auswahl hängt systematisch mit relevanten Merkmalen zusammen | • Stichprobe unterscheidet sich dadurch von der Zielpopulation | • Kann durch größere Stichprobe allein nicht behoben werden

Was ist Survivorship Bias?

• Nur erfolgreiche oder verbleibende Fälle werden analysiert | • Ausgeschiedene Fälle werden übersehen | • Kann Ergebnisse zu positiv erscheinen lassen

Was ist Missing Completely at Random?

• Fehlen ist unabhängig von beobachteten und unbeobachteten Werten | • Starke und oft unrealistische Annahme | • Complete-Case-Analyse kann dann unverzerrt sein

Was ist Missing at Random?

• Fehlen hängt von beobachteten Variablen ab | • Nach deren Berücksichtigung nicht mehr vom fehlenden Wert selbst | • Viele Imputationsverfahren beruhen auf dieser Annahme

Was ist Missing Not at Random?

• Fehlen hängt auch nach Kontrolle beobachteter Variablen vom fehlenden Wert selbst ab | • Besonders schwer zu behandeln | • Erfordert Sensitivitätsanalysen oder zusätzliche Annahmen

Warum ist Mittelwert-Imputation oft problematisch?

• Unterschätzt Streuung | • Schwächt Zusammenhänge zwischen Variablen | • Ignoriert Unsicherheit der fehlenden Werte

Was ist eine Sensitivitätsanalyse?

• Prüft, wie robust Ergebnisse gegenüber Annahmen oder Entscheidungen sind | • Beispiele: andere Ausschlussregeln oder Modellvarianten | • Erhöht Transparenz über Unsicherheit

Was ist externe Validität?

• Übertragbarkeit von Ergebnissen auf andere Populationen, Situationen oder Zeitpunkte | • Kann trotz hoher interner Validität begrenzt sein | • Hängt stark vom Studiendesign und Kontext ab

Was ist interne Validität?

• Grad, zu dem ein beobachteter Effekt kausal auf die Intervention zurückgeführt werden kann | • Bedroht durch Confounding, Bias und Messfehler | • Randomisierte Experimente haben meist hohe interne Validität

Was ist Messfehler?

• Abweichung zwischen beobachtetem und wahrem Wert | • Kann zufällig oder systematisch sein | • Beeinflusst Schätzungen und Modellleistung

Was ist Reliabilität?

• Zuverlässigkeit oder Messgenauigkeit eines Instruments | • Hohe Reliabilität bedeutet geringe zufällige Messfehler | • Ist notwendig, aber nicht ausreichend für Validität

Was ist Validität eines Messinstruments?

• Grad, zu dem tatsächlich das beabsichtigte Konstrukt gemessen wird | • Beispiele: Inhalts-, Konstrukt- und Kriteriumsvalidität | • Ein reliables Instrument kann trotzdem nicht valide sein

Wie erklärt man ein Experiment im Interview?

• Geschäftsfrage und Hypothese nennen | • Randomisierung, Gruppen und primäre Metrik erklären | • Ergebnis mit Effektgröße und Unsicherheit berichten | • Grenzen und konkrete Entscheidung ableiten