Introduction à la science des données - Partie Statistique

Flashcards de vocabulaire sur les estimateurs, les lois limites, l'estimation par intervalle, les tests statistiques et les corrections de tests multiples.

Moyenne empirique

Variable aléatoire notée $\bar{X}_n = \frac{1}{n} \sum_{i=1}^n X_i$, représentant la moyenne des $n$ répétitions d'une expérience aléatoire.

Variance empirique

Variable aléatoire notée $S_n = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X}_n)^2$, mesurant la dispersion des $n$ répétitions autour de leur moyenne empirique.

Estimateur sans biais

Estimateur $T_n$ d'un paramètre inconnu $\theta$ dont l'espérance mathématique est égale à ce paramètre, c'est-à-dire $E(T_n) = \theta$.

Biais d'un estimateur

Quantité correspondant à la différence entre l'espérance de l'estimateur $T_n$ et le paramètre inconnu, calculée par $E(T_n) - \theta$.

Estimateur convergent

Estimateur $T_n$ qui converge en probabilité vers le paramètre inconnu $\theta$, c'est-à-dire $\lim_{n \to +\infty} P(|T_n - \theta| > \epsilon) = 0$ pour tout $\epsilon > 0$.

Risque quadratique

Mesure de qualité d'un estimateur définie par $R(T_n, \theta) = E[(T_n - \theta)^2]$, égale à la somme de sa variance et du carré de son biais : $V(T_n) + (E(T_n) - \theta)^2$.

Vraisemblance (Likelihood)

Loi de probabilité conjointe d'un échantillon, notée $l(x_1, \dots, x_n, \theta)$, décrivant la probabilité d'observer cet échantillon pour une valeur fixée du paramètre $\theta$.

Estimateur du maximum de vraisemblance (EMV)

Variable aléatoire $T_n = \arg\max_\theta l(x_1, \dots, x_n, \theta)$ qui attribue au paramètre la valeur maximisant la fonction de vraisemblance.

Loi forte des grands nombres

Théorème selon lequel la moyenne empirique $\bar{X}_n$ d'une suite de variables aléatoires indépendantes et identiquement distribuées converge presque sûrement vers leur espérance $E(X)$.

Théorème central limite (TCL)

Théorème établissant que la variable aléatoire moyenne centrée réduite $\frac{\bar{X} - \mu}{\sqrt{\frac{\sigma^2}{n}}}$ converge en loi vers une loi normale centrée réduite $N(0, 1)$ lorsque $n$ est grand.

Intervalle de dispersion

Intervalle $ID_{1-\alpha}$ construit pour une variable aléatoire dont la loi est connue, garantissant qu'une réalisation a une probabilité $1-\alpha$ d'y appartenir.

Intervalle de confiance

Intervalle $IC_{1-\alpha}$ calculé sur un échantillon à partir de bornes aléatoires, possédant une probabilité $1-\alpha$ de contenir le paramètre inconnu.

Hypothèse nulle $(H_0)$

Hypothèse statistique supposant en général l'absence d'effet, de différence ou de lien entre les variables étudiées.

p-valeur (p-value)

Aire sous la courbe de la densité au-dessus de la valeur observée, représentant la probabilité d'obtenir un résultat au moins aussi extrême sous l'hypothèse nulle $(H_0)$.

Erreur de type I

Erreur consistant à rejeter l'hypothèse nulle $(H_0)$ alors qu'elle est vraie, c'est-à-dire commettre une fausse découverte.

Erreur de type II

Erreur consistant à ne pas rejeter l'hypothèse nulle $(H_0)$ alors qu'elle est fausse, c'est-à-dire passer à côté d'une vraie découverte.

FWER (Family Wise Error Rate)

Probabilité de commettre au moins une erreur de type I lors de la réalisation de $m$ tests statistiques simultanés.

Procédure de Bonferroni

Méthode de contrôle du FWER qui ne rejette chaque hypothèse $H_{0i}$ que si sa p-valeur $p_i$ satisfait $p_i \le \frac{\alpha}{m}$.

FDR (False Discovery Rate)

Taux moyen d'hypothèses nulles rejetées à tort parmi l'ensemble des hypothèses rejetées (proportion moyenne de fausses découvertes).

Procédure de Benjamini-Hochberg

Procédure ordonnant les p-valeurs $p_{(1)} \le \dots \le p_{(m)}$ et rejetant les $k$ premières hypothèses pour le plus grand index $k$ vérifiant $p_{(j)} \le \frac{j \cdot \alpha}{m}$.