UE5 Initiation à l'IA - Cours 6 : Apprendre à classer

Flashcards de vocabulaire couvrant l'intégralité des concepts théoriques, fonctions de perte et métriques d'évaluation de la classification (binaire, multiclasse et multiétiquette).

Classification binaire

Tâche d'apprentissage supervisé consistant à prédire une classe parmi deux alternatives exclusives (par exemple, document « courant » ou « prioritaire »).

Classification multiclasse

Tâche où le modèle doit choisir une seule catégorie parmi $K$ classes mutuellement exclusives (par exemple, « Facture », « Contrat » ou « Rapport »).

Classification multiétiquette

Tâche dans laquelle plusieurs étiquettes non exclusives peuvent être affectées simultanément à un même exemple (par exemple, « Urgent » et « Confidentiel »).

Codes de classe

Identifiants discrets (par exemple $0$, $1$, $2$) désignant des catégories sans notion d'ordre ou de quantité ; permuter ces valeurs ne modifie pas les classes.

Score $z$ (ou logit)

Valeur numérique réelle non bornée produite par le modèle linéaire ou réseau de neurones avant sa conversion en probabilité.

Fonction sigmoïde ($\sigma$)

Fonction d'activation transformant un score réel $z$ en probabilité $p = \sigma(z) = \frac{1}{1 + e^{-z}}$, comprise entre $0$ et $1$, dont la dérivée vaut $\partial_z p = p(1 - p)$.

Frontière de décision

Lieu géométrique dans l'espace des entrées séparant les différentes régions de prédiction (par exemple, l'hyperplan $w_1 x_1 + w_2 x_2 + b = 0$ pour un seuil standard $t = 0{,}5$).

Rôle des poids et du biais sur la frontière linéaire

Les poids ($w$) déterminent l'orientation de l'hyperplan ou de la droite de séparation, tandis que le terme de biais ($b$) contrôle sa translation dans l'espace des entrées.

Frontière de décision par morceaux (ReLU)

Forme géométrique non linéaire issue d'un perceptron multicouche avec activations ReLU, composée de plusieurs segments linéaires pouvant approcher une courbe complexe.

Seuil de décision ($t$)

Valeur seuil appliquée à la probabilité pour décider de la classe positive ($1$ si $p \ge t$) ; modifier $t$ déplace la frontière selon $z = \ln\left(\frac{t}{1 - t}\right)$.

Erreur 0-1 (Loss 0-1)

Fonction de coût valant $0$ en cas de bonne classification et $1$ en cas d'erreur ; inadaptée à la descente de gradient car sa dérivée est nulle presque partout et non définie sur les ruptures.

Entropie croisée binaire (BCE)

Fonction de coût pour deux classes définie par $l(y, p) = -y \ln(p) - (1 - y) \ln(1 - p)$, infligeant une pénalité exponentiellement lourde aux prédictions erronées faites avec une forte confiance.

Gradient de la BCE par rapport au logit ($\partial_z l$)

Dérivée de la perte par rapport au score non borné valant $\partial_z l = p - y$, qui conduit à $\partial_{w_j} l = (p - y)x_j$ pour guider les poids vers la cible.

Encodage One-Hot

Représentation vectorielle de la classe cible où seule la composante correspondant à la classe vraie vaut $1$, toutes les autres valant $0$ ($\sum_k y_k = 1$).

Fonction Softmax

Généralisation multiclasse de la sigmoïde convertissant $K$ logits réels en $K$ probabilités positives sommant à $1$ : $p_k = \frac{e^{z_k}}{\sum_{j=1}^K e^{z_j}}$.

Entropie croisée multiclasse

Fonction de coût multiclasse définie par $l(y, p) = -\ln(p_y) = -\sum_{k=1}^K y_k \ln(p_k)$, ne prenant en compte que la probabilité prédite pour la classe effectivement vraie.

Gradient du logit multiclasse ($\partial_{z_k} l$)

Dérivée partielle de la perte par rapport au score $z_k$, égale à $p_k - 1_{[k = y]}$, augmentant le logit de la bonne classe tout en diminuant ceux des autres lors de la descente.

Matrice de confusion

Tableau récapitulatif croisant les classes réelles et les décisions du modèle en quatre catégories : Vrais Positifs (VP), Faux Positifs (FP), Faux Négatifs (FN) et Vrais Négatifs (VN).

Accuracy (Justesse)

Proportion globale de décisions correctes parmi l'ensemble des exemples : $\text{Accuracy} = \frac{VP + VN}{N}$.

Précision ($P$)

Proportion de vrais positifs parmi tous les exemples que le modèle a prédits comme positifs : $P = \frac{VP}{VP + FP}$.

Rappel ($R$ / Sensibilité / TPR)

Proportion de cas positifs réels correctement détectés par le modèle : $R = \frac{VP}{VP + FN}$.

Spécificité (TNR)

Proportion de cas négatifs réels correctement rejetés par le modèle : $\text{TNR} = \frac{VN}{VN + FP}$.

Valeur prédictive négative (VPN)

Proportion d'exemples réellement négatifs parmi tous ceux prédits négatifs : $\text{VPN} = \frac{VN}{VN + FN}$.

Taux de faux positifs (FPR)

Proportion d'exemples négatifs qui reçoivent à tort une prédiction positive : $\text{FPR} = \frac{FP}{VN + FP} = 1 - \text{Spécificité}$.

Taux de faux négatifs (FNR)

Proportion de cas positifs réels manqués par le modèle : $\text{FNR} = \frac{FN}{VP + FN} = 1 - \text{Rappel}$.

Score $F_1$

Moyenne harmonique de la précision et du rappel attribuant un poids double aux vrais positifs : $F_1 = \frac{2PR}{P + R} = \frac{2VP}{2VP + FP + FN}$.

Score $F_\beta$

Métrique combinée pondérant l'importance relative du rappel et de la précision selon $F_\beta = \frac{(1 + \beta^2)PR}{\beta^2 P + R}$, favorisant le rappel quand $\beta > 1$.

Balanced Accuracy (BA)

Moyenne non pondérée des rappels des deux classes traitées sur un pied d'égalité : $\text{BA} = \frac{\text{Rappel} + \text{Spécificité}}{2}$.

Coefficient de corrélation de Matthews (MCC)

Indicateur d'accord global normalisé compris entre $-1$ et $+1$, prenant en compte les quatre quadrants : $\text{MCC} = \frac{VP \times VN - FP \times FN}{\sqrt{(VP + FP)(VP + FN)(VN + FP)(VN + FN)}}$.

Courbe ROC et AUC

Graphique retraçant l'évolution du taux de vrais positifs ($\text{TPR}$) en fonction du taux de faux positifs ($\text{FPR}$) lors du balayage de seuil, dont l'intégrale ($\text{AUC}$) évalue la qualité d'ordonnancement des scores.

Average Precision (AP)

Synthèse de la courbe Précision-Rappel calculée comme la somme des précisions pondérées par les incréments de rappel : $\text{AP} = \sum_k (R_k - R_{k-1})P_k$.

Score de Brier

Métrique évaluant l'exactitude des probabilités calibrées calculée comme l'erreur quadratique moyenne entre probabilité prédite et cible : $\text{Brier} = \frac{1}{n}\sum_{i=1}^n (p_i - y_i)^2$.

Calibration des probabilités

Propriété selon laquelle la probabilité moyenne annoncée par le modèle sur un groupe de confiance correspond fidèlement à la fréquence observée dans les données : $\mathbb{E}[Y \mid p] = p$.

Moyenne Macro (Multiclasse)

Stratégie d'agrégation d'une métrique multiclasse attribuant un poids égal à chaque classe sans tenir compte de leurs effectifs respectifs : $R_{\text{macro}} = \frac{1}{K}\sum_k R_k$.

Moyenne Weighted (Multiclasse)

Pondération de la performance par classe au prorata du support (effectif) de chaque catégorie : $R_{\text{weighted}} = \frac{\sum_k n_k R_k}{\sum_k n_k}$.

Moyenne Micro (Multiclasse)

Agrégation globale consistant à sommer l'ensemble des éléments élémentaires ($\text{VP}$, $\text{FP}$, $\text{FN}$) avant d'appliquer la formule d'évaluation : $R_{\text{micro}} = \frac{\sum_k VP_k}{\sum_k (VP_k + FN_k)}$.

Sélection du seuil selon les coûts

Procédure consistant à fixer le seuil d'action sur le jeu de validation en fonction du coût asymétrique des erreurs ($\text{FP}$ vs $\text{FN}$), le jeu de test restant strictement réservé à l'évaluation finale.