Droite de régression de x en y, coefficient de corrélation linéaire

4.1 La droite de régression de x en y

On échange les rôles de $x$ et de $y$ : on cherche une droite d'équation $x = a'y + b'$ qui rend minimale la somme des carrés des écarts horizontaux, $\sum\left(x_i - a'y_i - b'\right)^2$. Le même raisonnement donne :

Théorème 3. On suppose $V(y) \neq 0$. La droite de régression de $x$ en $y$, notée $D_{x/y}$, a pour équation $x = a'y + b'$, avec $a' = \frac{\operatorname{cov}(x, y)}{V(y)} \qquad \text{et} \qquad b' = \overline{x} - a'\,\overline{y}.$ Elle passe aussi par le point moyen $G$. Les deux droites de régression se coupent donc en $G$.

Exemple 6. Pour l'exemple 1, $V(y) = \dfrac{14}{3}$, donc $a' = \dfrac{4}{14/3} = \dfrac{12}{14} = \dfrac{6}{7}$ et $b' = 6 - \dfrac{6}{7} \times 9 = -\dfrac{12}{7}$. $D_{x/y}$ : $x = \dfrac{6}{7}\,y - \dfrac{12}{7}$. Résolue en $y$ : $7x = 6y - 12$, soit $y = \dfrac{7}{6}\,x + 2$. Les deux droites $y = x + 3$ et $y = \dfrac{7}{6}x + 2$ se coupent bien en $G(6\,;9)$. Elles sont proches, mais distinctes.

4.2 Le coefficient de corrélation linéaire

Définition. On suppose $\sigma_x \neq 0$ et $\sigma_y \neq 0$. Le coefficient de corrélation linéaire de la série est $r = \frac{\operatorname{cov}(x, y)}{\sigma_x\,\sigma_y}.$ Il a le signe de la covariance, donc le même signe que $a$ et $a'$.

Exemple 7. Pour l'exemple 1 : $r = \dfrac{4}{2 \times \sqrt{\frac{14}{3}}} = \dfrac{2}{\sqrt{\frac{14}{3}}} = \dfrac{\sqrt{42}}{7} \approx 0{,}926$. Pour l'exemple 3 (pêche) : $V(y) = \dfrac{269}{5} - 49 = \dfrac{24}{5}$ et $r = \dfrac{-4}{2\sqrt{4{,}8}} \approx -0{,}913$.

4.3 Propriétés

Théorème 4.

1. $r^2 = a\,a'$.
2. $-1 \leq r \leq 1$.
3. $r = 1$ ou $r = -1$ si et seulement si tous les points du nuage sont alignés. Les deux droites de régression sont alors confondues.

Démonstration.

1. $a\,a' = \dfrac{\operatorname{cov}(x, y)}{V(x)} \times \dfrac{\operatorname{cov}(x, y)}{V(y)} = \dfrac{\operatorname{cov}(x, y)^2}{\sigma_x^2\,\sigma_y^2} = r^2$.
2. D'après la leçon 3, $S_{\min} = n\left[V(y) - \dfrac{\operatorname{cov}(x, y)^2}{V(x)}\right] = n\,V(y)\left(1 - r^2\right)$. Une somme de carrés est positive ou nulle et $V(y) > 0$, donc $1 - r^2 \geq 0$, c'est-à-dire $r^2 \leq 1$.
3. $r^2 = 1$ si et seulement si $S_{\min} = 0$, c'est-à-dire si tous les écarts $e_i$ sont nuls : tous les points sont sur $D_{y/x}$. Dans ce cas $a' = \dfrac{1}{a}$, et $D_{x/y}$, qui passe aussi par $G$, s'écrit $y = ax + b$ : c'est la même droite.

Exemple 7 (suite). $a\,a' = 1 \times \dfrac{6}{7} = \dfrac{6}{7}$ et $r^2 = \dfrac{42}{49} = \dfrac{6}{7}$. De plus $n\,V(y)\left(1 - r^2\right) = 6 \times \dfrac{14}{3} \times \dfrac{1}{7} = 4$ : c'est bien $S_{\min}$ (exemple 4).

4.4 Interpréter le coefficient de corrélation

• Le signe : $r > 0$ quand $x$ et $y$ varient plutôt dans le même sens, $r < 0$ quand ils varient plutôt en sens contraires.
• $|r|$ proche de $1$ : les points sont proches d'une droite. La corrélation linéaire est forte et un ajustement affine est justifié. Dans l'exemple 1, $r \approx 0{,}926$ ; dans l'exemple 3, $r \approx -0{,}913$.
• $|r|$ proche de $0$ : la corrélation linéaire est faible, et un ajustement affine n'a pas beaucoup de sens.
• Aucun seuil n'est fixé par le programme. Si un énoncé en donne un, on l'applique ; sinon, on interprète la valeur de $|r|$.

Attention : $r$ ne mesure qu'une tendance linéaire.

Exemple 8. La série $x_i = 1, 2, 3, 4, 5, 6, 7$ et $y_i = 8{,}2\,;\ 4{,}2\,;\ 1{,}8\,;\ 1\,;\ 1{,}8\,;\ 4{,}2\,;\ 8{,}2$ a ses points sur la parabole d'équation $y = 0{,}8(x - 4)^2 + 1$. Ici $\overline{x} = 4$, et les écarts $x_i - 4$ sont opposés deux à deux pour des valeurs de $y$ égales, donc $\operatorname{cov}(x, y) = 0$ et $r = 0$. Il n'y a aucune corrélation linéaire, et pourtant $y$ dépend entièrement de $x$.