Chapitre 2 : analyse en composantes principales

Pourquoi utilise-t-on l’analyse en composantes principales (ACP) ?

Elle permet de projeter des données de grande dimension dans un espace de dimension plus faible afin de visualiser et analyser plus facilement les données

Comment représente-t-on les données en analyse en composantes principales (ACP) ?

On représente les données par une matrice X de taille N × p où N est le nombre d’individus et p est le nombre de variables statistiques

Comment définit-on les poids des individus en analyse de données ?

On définit un poids p_i ≥ 0 pour chaque individu avec

Σ_i=1^N p_i = 1,

et on prend souvent p_i = 1/N pour tous les individus ;

Comment définit-on le point moyen (centre de gravité) en analyse de données ?

Le point moyen g est défini par g = (x̄₁, …, x̄ₚ) où chaque coordonnée x̄_k est la moyenne pondérée des valeurs de la variable k : x̄_k = Σ_{i=1}^{N} p_i x_i^k ;

Comment définit-on le point moyen (centre de gravité) en analyse de données ?

Le point moyen g est défini par g = (x̄₁, …, x̄ₚ) où chaque coordonnée x̄_k est la moyenne pondérée des valeurs de la variable k : x̄_k = Σ_i=1^N p_i x_i^k ;

Définition : Que sont les données centrées ?

Les données centrées sont obtenues en soustrayant la moyenne de chaque variable : y_i^k = x_i^k − x̄_k ;

en notation matricielle : Y = X − 1 g^T ;

Propriété : Comment s’écrit la matrice des données centrées ?

Y = (I − 1^T D_p) X

I est la matrice identité,

1 le vecteur de 1 et

Dp la matrice diagonale des poids p_i.

Propriété : Comment s’écrit la matrice de variance-covariance ?

V = X^T D_p X − g g^T.

Définition : Comment définit-on le coefficient de corrélation linéaire entre les variables k et l ?

r_kl = σ_kl / (σ_k · σ_l)

Définition : Qu’est-ce que la matrice des données centrées réduites Z ?

Z = (zᵢᵏ) avec zᵢᵏ = (xᵢᵏ − x̄ₖ) / σₖ

Définition : Qu’est-ce que l’inertie totale d’un nuage de points ? (I_g )

I_g = Σ_i=1^N p_i (x_i − g)^T (x_i − g) = Σ_i=1^N p_i |x_i − g|²

Définition : Comment définit-on l’inertie en un point a ?

I_a = Σ_i=1^N p_i (x_i − a)^T (x_i − a)

Définition : Quel est l’objectif de l’ACP ?

L’ACP a pour but de déterminer un sous-espace de dimension q dans lequel la projection du nuage de points a une inertie maximale.

Propriété : Relation entre l’inertie en a et l’inertie totale.

I_a = I_g + |g − a|².
Propriété : Expression de l’inertie totale avec les distances entre individus.

Propriété : Comment s’exprime l’inertie totale au centre de gravité g ?

I_g = tr(V) où tr(V) est la trace de la matrice de variance-covariance V.

Définition : Qu’est-ce que l’espace des variables ? Quel est le produit scalaire associé ?

ℝ^p est l’espace de représentation des variables.

On y définit le produit scalaire ⟨x^k, x^l⟩ = (x^k)^T D_p x^l = Σ_i=1^N p_i x_i^k x_i^l

Remarque : Que représente la norme d’une variable dans cet espace ?

On a ||x^k||² = σ_k² : la norme au carré d’une variable correspond à sa variance.

Interprétation : Que représente le cosinus entre deux variables ?

cos(x^k, x^l) = ⟨x^k, x^l⟩ /(||x^k|| ||x^l||) = σ_kl/(σ_k σ_l) = r_kl.

Il correspond au coefficient de corrélation entre les variables k et l.

Définition : Qu’est-ce que l’espace des variables ? Quel est le produit scalaire associé ainsi que la norme ?

ℝ^p est l’espace de représentation des variables. On y définit le produit scalaire ⟨xᵏ, xˡ⟩ = (xᵏ)ᵀ Dₚ xˡ = Σᵢ₌₁ᴺ pᵢ xᵢᵏ xᵢˡ

Remarque : la norme d’une variable xᵏ dans cet espace est :
‖xᵏ‖ = √(Σᵢ₌₁ᴺ pᵢ (xᵢᵏ)²)

Conséquence : Que représente-t-on dans le cercle des corrélations (espace des variables) ?

Dans l’espace des variables, on représente les variables comme des vecteurs plutôt que comme des points, et on s’intéresse aux angles entre ces vecteurs.

Qu’est-ce que l’analyse factorielle ?

Une méthode qui consiste à trouver des directions maximisant l’inertie des données projetées

Quelles hypothèses fait-on sur les données en analyse factorielle ?

Elles sont centrées et réduites

Quelle propriété importante possède la matrice V ?

Elle est symétrique définie positive V = R

Que permet cette propriété de la matrice V ?

Elle peut être diagonalisée et admet des valeurs propres et vecteurs propres

Dans le cas d = 1, que cherche-t-on ?

La direction qui maximise l’inertie des données projetées

Que représentent les valeurs propres λ₁ ≥ λ₂ ≥ ... ≥ λp ≥ 0 ?

L’importance de l’inertie selon chaque direction

Quelle sont Les coordonnées des individus projetés sur la droite de vecteur directeur u = (u₁ u₂ …. u_p) pour d = 1 ?

Les coordonnées des individus projetés sur la droite de vecteur directeur u = (u₁ u₂ …. u_p) est

c = Xu = Σ_k=1^p x^k u_k

Quelle est l’inertie des points projetés ? (var(c) = …)

var( c ) = Σ_k=1^p p_i c_i = cᵀ D c

= u^T X^T D X u

= u^T V u = u^T R u

Quelle quantité cherche-t-on à maximiser pour trouver cette direction ?

On cherche u* = argmax _{||u|| = 1} uᵀ V u

Comment exprime-t-on un vecteur u dans la base des vecteurs propres ?

u = Σ_k=1^p α_k v_k

Comment s’écrit la quantité uᵀVu dans cette base ?

uᵀVu = (Σ_k=1^p α_k v_k)^T V (Σ_k=1^p α_k v_k)

= (Σ_k=1^p α_k v_k)^T (Σ_k=1^p α_k λ_k v_k)

= Σ_k=1^p α_k² λ_k ||v_k||²

⁼ Σ_k=1^p α_k² λ_k

Quand uᵀVu est-elle maximale ?

Quand u est égal au premier vecteur propre v₁ (α_k = 1 k = 1, α_k = 0 sinon )

Que fait-on dans le cas général en dimension d >= 1 ?

On projette sur les d premiers vecteurs propres

Qu’est-ce que les composantes principales ?

Des variables artificielles définies par les facteurs principaux : cᵏ = X vₖ

Que contiennent les composantes principales ?

Les coordonnées des projections orthogonales des individus sur les axes principaux

En quoi consiste l’ACP ? (diagonalisation et facteurs principaux)

À diagonaliser la matrice R pour obtenir les facteurs principaux v_1, v_2, v_{3, …,} v_d et à calculer les composantes principales c^k= X v_k

Quelle est la variance d’une composante principale cᵏ ? Que contiennent-elles ?

Elle est égale à la valeur propre λₖ : var(c_k) = X λ_k

Elles contiennent les coordonnées des projections orthogonales des individus sur les axes définis par les facteurs principaux.

Pourquoi la variance est-elle égale à λₖ ?

Parce que V = R et ||vₖ|| = 1

Comment interpréter la variance d'une composante principale c_k qui est égale à la valeur propre λₖ?

Les composantes principales sont des combinaisons linéaires de variables initiales de variances maximales. De plus, les nouvelles variables sont déconnectées.

Quelle est la formule de reconstitution ?

X = Σ_k=1^p c^k v_k ^T

Quel est le théorème d’Eckart-Young en ACP ?

La matrice X̃ = Σ_k=1^d cᵏ vₖᵀ est la meilleure approximation de X par une matrice de rang d au sens des moindres carrés

En quoi consiste la méthode ACP ? (méthode factorielle linéaire + transformer variable…)

On dit que l'ACP, méthode factorielle linéaire.

L’ACP consiste à transformer des variables x_k corrélées en de nouvelles variables c_k (appelées composantes principales) non corrélées entre elles, de variance maximale et les plus liées aux x_k.

Comment définit-on le critère de qualité d’une ACP ?

C’est le pourcentage d’inertie totale expliquée : (Σ_k=1^d λₖ ) / (Σ_k=1^p λₖ) = Σ_k=1^d λₖ/ (I_g)

Comment interpréter la qualité de représentation d’un individu en ACP ?

On regarde l’angle : si cos(θ) ≈ ±1 il est bien représenté, si cos(θ) ≈ 0 il est mal représenté

Qu’est-ce que le critère de Kaiser en ACP ?

On retient les composantes principales dont la valeur propre est supérieure à 1 (λₖ > 1)

En quoi consiste le critère du coude ?

On observe le diagramme des valeurs propres et on garde les composantes avant le point où la courbe forme un “coude”

À quoi servent les critères empiriques en ACP ?

Ils servent à déterminer le nombre d’axes (composantes principales) à retenir pour représenter les données

Que regarde-t’on principalement pour donner un sens aux axes retenus ?

On regarde les coefficients de corrélation linéaire r( c, x^k) entre les composantes principales et les variablesinitiales.

Quel coefficient de corrélation va-t’on privilégier ?

On privilégie les coefficients les plus forts en valeur absolue (proche de 1)

r(c, x^k) = rac(λₖ) v_k

Qu’est-ce que le cercle de corrélation en ACP ?

C’est une représentation des variables sur un plan factoriel où chaque flèche correspond à une variable

Que représente une flèche dans le cercle de corrélation ?

Elle représente une variable projetée selon ses coordonnées sur les axes principaux

Que signifie une petite flèche dans le cercle de corrélation ?

Elle indique que la variable est faiblement représentée (peu significative) sur le plan

Que signifie une flèche orientée vers la droite (axe 1) ?

La variable est positivement corrélée avec le premier axe

Comment calcule-t-on la contribution d’un individu à une composante ?

Par la formule pᵢ (cᵢᵏ)² / λₖ

A quoi correspond cᵢᵏ ?

La valeur pour l'individu i de la k-ième composante c^k

Quand dit-on qu’une contribution est importante ?

Lorsqu’elle est supérieure à la contribution moyenne (pᵢ (cᵢᵏ)² / λₖ > pᵢ)

Qu’est-ce que les éléments supplémentaires en ACP ?

Ce sont soit des variables élémentaires, soit des attributs système. Ils n'ont pas servi pour déterminer des facteurs, mais pour les reproduire. Ils apportent une information supplémentaire, à but d'interprétation ou de validation. Ce sont des valeurs tests.