Modèles de Régression avec Scikit-Learn

Fiches de vocabulaire couvrant l'ensemble des concepts, formules et méthodes des modèles de régression linéaire, multiple, pénalisée (Ridge, Lasso, Elastic Net) et leur cadre mathématique sous Scikit-Learn.

Apprentissage supervisé

Type d'apprentissage en Machine Learning utilisant des données étiquetées comprenant à la fois des variables explicatives (inputs $X$) et une variable cible (output $y$) à prédire.

Problème de régression

Problème d'apprentissage supervisé dans lequel la variable cible à prédire est quantitative et prend des valeurs continues.

Régression linéaire simple

Modèle statistique le moins complexe modélisant une relation linéaire entre une unique variable explicative continue $x$ et une variable cible continue $y$, selon l'équation $y = \beta_0 + \beta_1 x + \tau$, où $\tau \thicksim \text{N}(0, \rho^2)$.

Résidu

Différence calculée entre la valeur observée réelle de la variable cible $y$ et sa valeur ajustée ou prédite par le modèle $\hat{y}$, définie par $\tau = y - \hat{y}$.

Coefficient de détermination ($R^2$)

Métrique d'évaluation d'une régression mesurant le rapport entre la variance expliquée et la variance totale, comprise au maximum à $1$ mais pouvant être négative.

Racine de l'erreur quadratique moyenne (RMSE)

Métrique d'évaluation universelle définie par $\text{RMSE} = \sqrt{\mathbb{E}[(\hat{y}-y)^2]}$, correspondant à la racine carrée de la moyenne des résidus au carré, dépendante de l'échelle de la variable cible.

Sensibilité aux valeurs aberrantes (régression linéaire)

Propriété selon laquelle, la régression linéaire minimisant les résidus au carré, une valeur atypique extrême possède une influence disproportionnée et tire la droite de régression loin des autres données.

Diagramme Quantile-Quantile (Q-Q plot)

Graphique affiché via la fonction probplot de scipy.stats permettant de valider la normalité des résidus centrés et réduits s'ils s'alignent sur la première bissectrice.

Test de significativité d'une variable ($H_0: \beta_1 = 0$)

Test d'hypothèse basé sur la F-statistique de Fisher (via f_regression) où une p-valeur faible (généralement $< 0.05$) permet de rejeter l'hypothèse nulle $H_0$ et d'affirmer que la variable explicative influence significativement la cible.

Régression linéaire multiple

Modèle de régression prédisant une variable cible continue $y_i$ à partir de $p$ variables explicatives continues selon l'équation $y_i = \beta_0 + \sum_{j=1}^{p} \beta_j x_{i,j} + \tau_i$.

Sur-apprentissage (Overfitting)

Phénomène où le modèle apprend excessivement les détails du jeu d'entraînement, générant d'excellentes prédictions sur les données d'entraînement mais de mauvaises performances sur les données de test.

Multicolinéarité

Forte corrélation entre plusieurs variables explicatives provoquant de la redondance d'informations, une instabilité dans l'estimation des coefficients et un risque accru d'overfitting.

SelectKBest

Méthode de sélection de variables de sklearn.feature_selection extrayant les $k$ variables explicatives les plus significatives selon un score statistique donné (comme f_regression).

SelectFromModel

Classe de sélection de variables de Scikit-Learn retenant les variables explicatives prioritaires en fonction de l'importance de leurs coefficients coef_ ou feature_importances_.

Standardisation (StandardScaler)

Transformation centrée-réduite essentielle pour les modèles pénalisés, évitant de pénaliser ou de favoriser arbitrairement un coefficient en ramenant toutes les variables à la même échelle.

Régularisation (Shrinkage)

Technique imposant des contraintes sur l'amplitude globale des coefficients $\beta_j$ afin de réduire la variance du modèle, d'éliminer l'overfitting et de gérer les cas où $p > n$.

Régression Ridge

Modèle de régression pénalisée appliquant une contrainte sur la norme L2 des coefficients en minimisant la fonction $\min_\beta (\|Y - X\beta\|^2 + \alpha \|\beta\|^2)$.

Régression Lasso

Modèle de régression pénalisée appliquant une contrainte sur la norme L1 des coefficients en minimisant $\min_\beta (\|Y - X\beta\|^2 + \alpha \|\beta\|_1)$, capable d'annuler certains coefficients pour effectuer une sélection automatique de variables.

Elastic Net

Modèle de régression pénalisée combinant linéairement les pénalités L1 et L2 afin de préserver la capacité de sélection de variables du Lasso tout en partageant les poids entre variables corrélées.

Paramètre l1_ratio ($\lambda$)

Paramètre de pondération dans Elastic Net ; une valeur de $1$ correspond à une régression Lasso pure, une valeur de $0$ à une régression Ridge, et les valeurs intermédiaires à un compromis entre les deux.

Estimateur des moindres carrés ordinaires (MCO)

Estimateur analytique sans biais de covariance $\sigma^2 (X^T X)^{-1}$ donné par $\beta_{esti} = (X^T X)^{-1} X^T Y$, solution unique et explicite de la régression linéaire sous condition que $X$ soit de rang plein ($n > p$).

Problème non-identifiable ($n < p$)

Situation survenant lorsque le nombre d'observations $n$ est inférieur au nombre de variables $p$, rendant la matrice $X^T X$ non inversible et produisant une infinité de solutions non explicites.

Décomposition Biais-Variance

Décomposition mathématique du risque d'un estimateur où le biais résulte d'hypothèses erronées (sous-apprentissage) et la variance provient de la sensibilité aux fluctuations du jeu d'entraînement (sur-apprentissage).

GridSearchCV

Fonction de sklearn.model_selection testant systématiquement par validation croisée un dictionnaire de combinaisons d'hyperparamètres afin d'identifier la configuration la plus performante.