Chapitre 4 : Conditionnement et indépendance

Introduction au Conditionnement et à l'Indépendance

• Nature dynamique des probabilités : Contrairement aux calculs statiques effectués au début d'une expérience, les probabilités dans le monde réel (statistiques, machine learning) évoluent avec l'information.

• Le conditionnement : Cet outil mathématique permet de mettre à jour les connaissances dès qu'une nouvelle information est disponible.

• L'indépendance : Propriété permettant de séparer l'étude de phénomènes distincts (événements ou variables aléatoires) lorsque la survenue de l'un n'influence pas l'autre.

Exemple 4.1 : Décision de faire du sport selon la météo

• Probabilités de sortie selon le temps :

  • S'il fait beau : probabilité de sortir égale à $\frac{2}{3}$.

  • S'il pleut : probabilité de sortir égale à $\frac{1}{6}$.

  • S'il neige : probabilité de sortir égale à $\frac{1}{10}$.

• Probabilités météorologiques (données du bulletin) :

  • Beau temps : $1$ jour sur $2$ (soit $\frac{1}{2}$).

  • Neige : $1$ jour sur $10$ (soit $\frac{1}{10}$).

  • Pluie : Par déduction, $2$ jours sur $5$ (car $1 - (\frac{1}{2} + \frac{1}{10}) = 1 - \frac{6}{10} = \frac{4}{10} = \frac{2}{5}$).

• Questions soulevées :

  • Quelle est la probabilité de sortir un jour choisi au hasard ?

  • Si l'on sait que vous êtes sorti, quelle est la probabilité qu'il ait fait beau ? (Mène à la formule de $Bayes$).

Probabilités Conditionnelles entre Événements

Définition 4.1 : Probabilité conditionnelle

• Soient $A$ et $B$ deux événements avec P(B) > 0. La probabilité conditionnelle de $A$ sachant $B$ (notée $P(A | B)$) est définie par :   $P(A | B) = \frac{P(A \cap B)}{P(B)}$

• De façon équivalente, on peut écrire la probabilité de l'intersection comme :   $P(A \cap B) = P(A | B) \times P(B)$

Interprétation et Univers Réduit

• Cas de l'univers fini ($\Omega$) et probabilité uniforme :   $P(A | B) = \frac{|A \cap B|}{|B|}$   Cela représente la proportion, parmi les éléments de $B$, de ceux qui appartiennent aussi à $A$.

• Cas général : $P(A | B)$ est le poids relatif de $A \cap B$ dans $B$. Considérer que $B$ se produit revient à se placer dans un nouvel univers (réduit) $B$ au lieu de $\Omega$, où $B$ devient l'événement certain ($P(B) = 1$).

• Proposition 4.1 : L'application $A \mapsto P(A | B)$ est une mesure de probabilité sur $\Omega$.

Corollaire 4.1 : Propriétés élémentaires

• Si $A$, $A'$ et $B$ sont des événements tels que P(B) > 0, alors :

  • a) $P(\Omega \setminus A | B) = 1 - P(A | B)$.

  • b) Si $A' \subseteq A$, alors $P(A' | B) \le P(A | B)$.

  • c) $P(A \cup A' | B) = P(A | B) + P(A' | B) - P(A \cap A' | B)$.

Formules de Bayes et des Probabilités Totales

Théorème 4.1 : Formule de Bayes

• Si P(A) > 0 et P(B) > 0, alors :   $P(A | B) = \frac{P(B | A) \times P(A)}{P(B)}$

• Démonstration : Vient de la double définition de $P(A \cap B)$ :   $P(A \cap B) = P(A | B)P(B)$ et $P(A \cap B) = P(B | A)P(A)$.

Définition 4.2 : Partition d'un ensemble

• Une partition de $\Omega$ est une famille finie ou dénombrable $A_1, A_2, \dots$ d'événements non vides tels que :

  • Ils sont deux à deux disjoints : $A_i \cap A_j = \emptyset$ pour $i \neq j$.

  • Leur réunion couvre l'univers : $\cup_i A_i = \Omega$.

Proposition 4.2 : Formule des probabilités totales

• Soit $A_1, A_2, \dots$ une partition de $\Omega$ avec P(A_i) > 0 pour tout $i$. Pour tout événement $B$ :   $P(B) = \sum_i P(B | A_i) \times P(A_i)$

• Utilité : Permet de décomposer la probabilité d'un événement $B$ selon différentes situations de base ($A_i$).

Combinaison des formules (Bayes généralisé)

• Pour tout $i$ :   $P(A_i | B) = \frac{P(B | A_i)P(A_i)}{\sum_j P(B | A_j)P(A_j)}$

Exemple 4.4 : Résolution du cas du sport

• Définition des événements : $S$ (Sortir), $P$ (Pluie), $N$ (Neige), $B$ (Beau).

• Calcul de $P(S)$ :   $P(S) = P(S | P)P(P) + P(S | N)P(N) + P(S | B)P(B)$   $P(S) = (\frac{1}{6} \times \frac{2}{5}) + (\frac{1}{10} \times \frac{1}{10}) + (\frac{2}{3} \times \frac{1}{2})$   $P(S) = 0,41$

• Calcul de $P(B | S)$ :   $P(B | S) = \frac{P(S | B)P(B)}{P(S)} = \frac{\frac{2}{3} \times \frac{1}{2}}{0,41} \approx 0,813$   Il y a donc $81,3\%$ de chances qu'il ait fait beau sachant que vous êtes sorti.

Le Paradoxe des Faux Positifs (Dépistage Médical)

Exemple 4.5 : Analyse d'une maladie rare

• Données :

  • Prévalence de la maladie $M$ : $P(M) = 0,001$ ($0,1\%$).

  • Sensibilité (Vrai positif) : $P(T | M) = 0,99$ ($99\%$).

  • Spécificité (Vrai négatif) : $P(\bar{T} | \bar{M}) = 0,99$, ce qui implique un taux de faux positifs $P(T | \bar{M}) = 0,01$.

• Calcul de la probabilité d'être malade sachant un test positif $P(M | T)$ :   $P(M | T) = \frac{P(T | M)P(M)}{P(T | M)P(M) + P(T | \bar{M})P(\bar{M})}$   $P(M | T) = \frac{0,99 \times 0,001}{(0,99 \times 0,001) + (0,01 \times 0,999)}$   $P(M | T) = \frac{0,00099}{0,00099 + 0,00999} = \frac{0,00099}{0,01098} \approx 0,09$

• Conclusion contre-intuitive : Malgré un test fiable à $99\%$, la probabilité d'être réellement malade n'est que de $9\%$.

• Explication : Sur $100\,000$ personnes, $100$ sont malades (donnant $99$ tests positifs) mais $99\,900$ sont saines (donnant $999$ faux positifs). Les vrais malades sont minoritaires ($99/1098$) parmi les tests positifs.

Indépendance entre Deux Événements

Définition 4.3 : Indépendance technique

• Deux événements $A$ et $B$ sont indépendants si :   $P(A \cap B) = P(A) \times P(B)$

Proposition 4.3 : Intuition du conditionnement

• Lorsque P(B) > 0, $A$ et $B$ sont indépendants si et seulement si :   $P(A | B) = P(A)$

• Cela signifie que l'information sur la réalisation de $B$ est inutile pour prédire $A$.

Exemple 4.6 : Double lancer de dés

• Event $A$ (faire $2$ au 1er lancer), Event $B$ (faire $5$ au 2e lancer).

• Le dé n'a pas de mémoire : $P(A) = \frac{1}{6}$, $P(B) = \frac{1}{6}$.

• $P(A \cap B) = \frac{1}{6} \times \frac{1}{6} = \frac{1}{36}$.

Propriétés de l'indépendance

• Proposition 4.4 (Stabilité par complémentaire) : Si $A$ et $B$ sont indépendants, alors :

  • $A$ et $\Omega \setminus B$ sont indépendants.

  • $\Omega \setminus A$ et $B$ sont indépendants.

  • $\Omega \setminus A$ et $\Omega \setminus B$ sont indépendants.

• Indépendance vs Incompatibilité :

  • Deux événements disjoints ($A \cap B = \emptyset$) ne sont pas indépendants (sauf si l'un a une probabilité nulle).

  • Savoir que $B$ est réalisé indique avec certitude que $A$ ne l'est pas, ce qui constitue une dépendance forte.

Définition 4.4 : Indépendance conditionnelle

• $A$ et $B$ sont indépendants conditionnellement à $C$ si :   $P(A \cap B | C) = P(A | C) \times P(B | C)$

• Pièges :

  • L'indépendance n'implique pas l'indépendance conditionnelle.

  • L'indépendance conditionnelle n'implique pas l'indépendance classique.

Indépendance entre Variables Aléatoires

Définition 4.5 : Indépendance générale

• Deux variables $X$ et $Y$ sont indépendantes ($X \perp Y$) si pour tous intervalles $I, J \subseteq \mathbb{R}$ :   $P(\{X \in I\} \cap \{Y \in J\}) = P(X \in I) \times P(Y \in J)$

Proposition 4.5 : Cas discret

• Pour des variables discrètes, $X \perp Y$ si et seulement si pour tous $x, y$ :   $P(X = x \cap Y = y) = P(X = x) \times P(Y = y)$

Propriétés de transfert et d'espérance

• Proposition 4.6 (Transformations) : Si $X \perp Y$, alors $f(X) \perp g(Y)$ pour toutes fonctions continues par morceaux $f$ et $g$ (exemple : $X^2 \perp e^Y$).

• Proposition 4.7 (Factorisation des espérances) : $X \perp Y$ si et seulement si pour toutes fonctions $f, g$ bornées ou positives :   $E(f(X)g(Y)) = E(f(X)) \times E(g(Y))$

• Corollaire 4.2 : Si $X \perp Y$, alors $E(XY) = E(X)E(Y)$.

• Attention (Remarque 4.5) : La réciproque du corollaire 4.2 est fausse. Si $X \in \{-1, 0, 1\}$ équiprobables et $Y = X^2$, on a $E(XY) = E(X)E(Y) = 0$, mais $X$ et $Y$ sont dépendantes (connaître $X$ donne $Y$).

Corollaire 4.3 : Identité de Bienaymé (Variance d'une somme)

• Si $X \perp Y$, alors :   $V(X + Y) = V(X) + V(Y)$

• Généralisation : Si $X_1, \dots, X_n$ sont deux à deux indépendantes, alors :   $V(\sum_{i=1}^n X_i) = \sum_{i=1}^n V(X_i)$

• Note : L'indépendance est requise pour la somme des variances, mais pas pour la somme des espérances.

Indépendance entre n Événements

Il existe deux niveaux d'indépendance pour un groupe d'événements $A_1, \dots, A_n$ :

Définition 4.6 : Indépendance deux à deux

• Pour tout $i \neq j$, $P(A_i \cap A_j) = P(A_i) \times P(A_j)$.

Définition 4.7 : Indépendance mutuelle (Indépendance dans l'ensemble)

• Pour toute partie non vide $I \subseteq \{1, \dots, n\}$ :   $P(\cap_{i \in I} A_i) = \prod_{i \in I} P(A_i)$

• C'est une condition beaucoup plus forte que l'indépendance deux à deux. Elle implique que la connaissance de n'importe quel sous-groupe d'événements n'influence pas les autres.

Exemple 4.8 : Les colocataires

• Lancers de pièce par Alice ($A$) et Bob ($B$). Event $C$ : "Ils sont d'accord" (résultats identiques : $PP$ ou $FF$).

• Univers : $\Omega = \{PP, PF, FP, FF\}$ avec probabilité $\frac{1}{4}$ pour chaque issue.

• $P(A) = \frac{1}{2}$, $P(B) = \frac{1}{2}$, $P(C) = \frac{2}{4} = \frac{1}{2}$.

• Indépendance deux à deux :

  • $P(A \cap B) = P(\{PP\}) = \frac{1}{4} = P(A)P(B)$.

  • $P(A \cap C) = P(\{PP\}) = \frac{1}{4} = P(A)P(C)$.

  • $P(B \cap C) = P(\{PP\}) = \frac{1}{4} = P(B)P(C)$.

• Échec de l'indépendance mutuelle :

  • Si l'on sait $A$ et $B$ (Alice et Bob veulent une pizza), alors ils sont forcément d'accord ($C$ est certain).

  • $P(A \cap B \cap C) = P(\{PP\}) = \frac{1}{4}$.

  • Or $P(A)P(B)P(C) = \frac{1}{2} \times \frac{1}{2} \times \frac{1}{2} = \frac{1}{8}$.

  • Comme $\frac{1}{4} \neq \frac{1}{8}$, les événements ne sont pas mutuellement indépendants.

Proposition 4.8 : Critère par probabilités conditionnelles

• Sous réserve de probabilités strictement positives pour les intersections, l'indépendance mutuelle équivaut à :   $P(A_k | \cap_{i \in I} A_i) = P(A_k)$   pour tout $k$ et tout I \subseteq \{1, \dots, n\} \setminus \{k\}$.\n\n# Démonstrations Mathématiques\n\n### Démonstration de la Proposition 4.1 (Probabilité conditionnelle)\n- **Positivité** : 0 \le P(A | B) \le 1$car$A \cap B \subseteq B \implies P(A \cap B) \le P(B).\n- **Ensemble vide** : P(\emptyset | B) = \frac{P(\emptyset \cap B)}{P(B)} = \frac{0}{P(B)} = 0.\n- **Additivité dénombrable** : Soient A_i$disjoints, alors$(A_i \cap B) sont disjoints. \n  P(\cup A_i | B) = \frac{P(\cup(A_i \cap B))}{P(B)} = \frac{\sum P(A_i \cap B)}{P(B)} = \sum P(A_i | B).\n\n### Démonstration de la Formule des Probabilités Totales (Proposition 4.2)\n- Par définition de la partition : B = B \cap \Omega = B \cap (\cup A_i) = \cup (B \cap A_i).\n- Comme les A_i$sont disjoints, les$(B \cap A_i) le sont aussi.\n- Par additivité : P(B) = \sum_i P(B \cap A_i).\n- Par définition du conditionnement : P(B) = \sum_i P(B | A_i)P(A_i).\n\n### Démonstration de la Factorisation des Espérances (Proposition 4.7)\n- **Sens direct (discret)** :\n  E(f(X)g(Y)) = \sum_{i,j} f(x_i)g(y_j)P(X = x_i, Y = y_j).\n  Par indépendance : P(X=x_i)P(Y=y_j).\n  E(f(X)g(Y)) = (\sum_i f(x_i)P(X=x_i)) \times (\sum_j g(y_j)P(Y=y_j)) = E(f(X))E(g(Y)).\n- **Sens réciproque** : Utiliser les fonctions indicatrices f = \mathbb{1}{I_1}$et$g = \mathbb{1}{I_2}.\n\n### Démonstration de la Variance d'une somme (Corollaire 4.3)\n- V(\sum X_i) = E((\sum X_i)^2) - (E(\sum X_i))^2.\n- En développant le carré de la somme :\n  V(\sum X_i) = \sum_i V(X_i) + \sum_{i \neq j} [E(X_i X_j) - E(X_i)E(X_j)].\n- Si les variables sont deux à deux indépendantes, le terme de droite est nul car E(X_i X_j) = E(X_i)E(X_j)$$.