UE5 Initiation à l'IA - Régression linéaire, Loss et Optimisation par Gradient

Flashcards de vocabulaire couvrant les concepts fondamentaux des cours 3 et 4 d'initiation à l'IA : modélisation affine, erreurs (MAE, MSE), répartition train/validation/test, optimisation par descente de gradient et autograd.

Fonction cible ($f$)

Règle sous-jacente reliant l'espace d'entrée $X$ à l'espace de sortie $Y$, généralement inconnue, telle que $y_i = f(x_i)$ dans un cas idéal sans bruit.

Modèle ($f_\theta$)

Fonction calculable paramétrée par un vecteur de réglages $\theta$, ajustée pour approcher la fonction cible ($f_\theta(x) \approx f(x)$) sur les exemples connus et de nouvelles entrées.

Apprentissage

Phase consistant à ajuster les paramètres $\theta$ d'un modèle à partir d'exemples d'entraînement formés de couples $(x_i, y_i)$.

Inférence (ou Prédiction)

Étape consistant à figer les paramètres $\theta$, fournir une entrée $x$ et calculer la réponse estimée $\hat{y}$, sans disposer de la réponse réelle $y$.

Régression linéaire simple

Modèle affine associant à une entrée $x$ une prédiction $\hat{y} = a x + b$, où $a$ représente la pente (ex. en $\text{s/page}$) et $b$ l'ordonnée à l'origine (temps fixe en $s$).

Erreur signée ($e$)

Différence calculée selon la convention $e = \hat{y} - y$, où une valeur positive correspond à une surestimation et une valeur négative à une sous-estimation.

Erreur absolue moyenne (MAE)

Métrique calculée par $\text{MAE} = \frac{1}{n} \sum_{i=1}^n |e_i|$, additionnant la grandeur absolue de chaque erreur sans compensation avant de diviser par le nombre d'exemples $n$.

Erreur quadratique moyenne (MSE)

Critère défini par $\text{MSE} = \frac{1}{n} \sum_{i=1}^n e_i^2$, exprimé en secondes carrées ($s^2$), qui pénalise fortement les grands écarts (doubler une erreur multiplie sa pénalité par quatre).

Métrique vs Loss d'apprentissage

Une métrique est un critère servant à évaluer les prédictions d'un modèle, tandis que la loss d'apprentissage est la fonction mathématique précise que l'algorithme cherche à minimiser pour ajuster les paramètres.

Jeu d'apprentissage

Sous-ensemble des données (par exemple $70\,\%$ du total) réservé exclusivement à l'ajustement des paramètres des modèles candidats.

Jeu de validation

Sous-ensemble de données (par exemple $15\,\%$ du total) utilisé pour comparer plusieurs modèles candidats sur des exemples inédits et sélectionner le meilleur sans réajuster ses paramètres.

Jeu de test final

Ensemble d'exemples tenus strictement à l'écart (par exemple $15\,\%$ du total) servant uniquement à estimer la performance finale du modèle retenu une fois son architecture et ses paramètres figés.

Généralisation

Capacité d'un modèle d'apprentissage à prédire correctement la réponse sur des données nouvelles, non utilisées lors de l'ajustement de ses paramètres.

Fonction de coût ($L$)

Fonction qui prend en entrée des réglages de paramètres (par exemple $(a, b)$) et renvoie l'erreur globale mesurée sur un jeu de données fixé : $L(a, b) = \frac{1}{n} \sum_{i=1}^n (a x_i + b - y_i)^2$.

Pas d'apprentissage ($\eta$)

Nombre réel strictement positif ($\eta > 0$) choisi par le concepteur, qui contrôle l'ampleur du déplacement appliqué aux paramètres à chaque itération d'optimisation.

Règle de mise à jour en descente de gradient (1D)

Équation d'itération $b_{k+1} = b_k - \eta L'(b_k)$, où le signe moins oriente le déplacement dans le sens opposé à la pente locale $L'(b_k)$ afin de faire baisser le coût.

Dérivée partielle ($\frac{\partial L}{\partial a}$, $\frac{\partial L}{\partial b}$)

Pente de la fonction de coût calculée en faisant varier un seul paramètre tout en maintenant tous les autres paramètres rigoureusement constants.

Gradient ($\nabla L(\theta)$)

Vecteur regroupant toutes les dérivées partielles du coût par rapport aux différents paramètres, pointant dans la direction locale de plus forte augmentation de la fonction de coût.

Différentiation automatique (Autograd)

Technique logicielle calculant automatiquement les dérivées partielles en décomposant les calculs en opérations élémentaires et en appliquant la règle de dérivation en chaîne (mode inverse / backward).

R. E. Wengert (1964)

Auteur de l'article fondateur sur le mode direct de la différentiation automatique intitulé « A simple automatic derivative evaluation program » publié dans Communications of the ACM.

S. Linnainmaa (1970 / 1976)

Chercheur ayant formalisé les origines du mode inverse de la différentiation automatique dans son mémoire (1970) et son article sur l'expansion de Taylor de l'erreur d'arrondi (1976).

Critères d'arrêt de l'apprentissage

Conditions permettant de stopper la descente de gradient : nombre maximal d'itérations atteint, stagnation de la décroissance du coût, gradient très proche de zéro, ou suivi des performances sur le jeu de validation.