La méthode des moindres carrés

3.1 Mesurer l'écart entre une droite et le nuage

Soit $D$ une droite d'équation $y = ax + b$. Pour chaque point $M_i(x_i\,;y_i)$, on note $P_i(x_i\,;ax_i + b)$ le point de $D$ qui a la même abscisse. L'écart vertical (ou résidu) est $e_i = y_i - \left(ax_i + b\right).$ Il est positif si $M_i$ est au-dessus de $D$, négatif s'il est au-dessous. Pour que les écarts ne se compensent pas, on les élève au carré et on les additionne : $S(a, b) = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n}\left(y_i - ax_i - b\right)^2.$ Plus $S(a, b)$ est petit, plus la droite est proche des points. La méthode des moindres carrés consiste à choisir $a$ et $b$ pour que $S(a, b)$ soit minimal.

3.2 Le théorème

Théorème 2. On suppose $V(x) \neq 0$ (les $x_i$ ne sont pas tous égaux). Il existe une seule droite qui rend $S(a, b)$ minimal. On l'appelle la droite de régression de $y$ en $x$, notée $D_{y/x}$. Son équation est $y = ax + b$, avec $a = \frac{\operatorname{cov}(x, y)}{V(x)} \qquad \text{et} \qquad b = \overline{y} - a\,\overline{x}.$ L'égalité $\overline{y} = a\overline{x} + b$ signifie que $D_{y/x}$ passe par le point moyen $G$. La somme des écarts $e_i$ est alors nulle.

3.3 Démonstration

Elle ne fait pas partie des compétences exigibles, mais elle explique les formules. Elle n'utilise que le second degré.

Étape 1 : la pente $a$ est fixée, on cherche le meilleur $b$. On pose $c_i = y_i - ax_i$. Alors $S(a, b) = \sum\left(c_i - b\right)^2 = n\,b^2 - 2b\sum c_i + \sum c_i^2.$ C'est un trinôme en $b$, de coefficient $n > 0$ : il est minimal pour $b = \dfrac{1}{n}\sum c_i = \overline{y} - a\,\overline{x}$. Quelle que soit sa pente, la meilleure droite passe donc par $G$.

Étape 2 : la droite passe par $G$, on cherche $a$. Avec $b = \overline{y} - a\overline{x}$, chaque écart s'écrit $e_i = \left(y_i - \overline{y}\right) - a\left(x_i - \overline{x}\right)$. En développant les carrés et en faisant la somme : $S = n\left[V(y) - 2a\operatorname{cov}(x, y) + a^2\,V(x)\right].$ C'est un trinôme en $a$, de coefficient $nV(x) > 0$ : il est minimal pour $a = \dfrac{\operatorname{cov}(x, y)}{V(x)}$.

Pour toute droite, $S(a, b) \geq S\!\left(a, \overline{y} - a\overline{x}\right) \geq S_{\min}$, et l'égalité n'a lieu que pour les valeurs de $a$ et $b$ du théorème. En remplaçant $a$ par sa valeur, on obtient la valeur du minimum : $S_{\min} = n\left[V(y) - \frac{\operatorname{cov}(x, y)^2}{V(x)}\right].$

3.4 Exemples

Exemple 4. Droite de régression de $y$ en $x$ pour l'exemple 1.

• $a = \dfrac{\operatorname{cov}(x, y)}{V(x)} = \dfrac{4}{4} = 1$ et $b = \overline{y} - a\overline{x} = 9 - 1 \times 6 = 3$. Donc $D_{y/x}$ : $y = x + 3$.
• Vérification : $G(6\,;9)$ est sur la droite, car $6 + 3 = 9$.
• Écarts : $6 - 6 = 0$, $8 - 7 = 1$, $8 - 9 = -1$, $10 - 10 = 0$, $9 - 10 = -1$, $13 - 12 = 1$. Leur somme est nulle et $S_{\min} = 0 + 1 + 1 + 0 + 1 + 1 = 4$. On retrouve $6\left[\dfrac{14}{3} - \dfrac{4^2}{4}\right] = 4$.
• Comparaison : la droite horizontale $y = 9$, qui passe aussi par $G$, donne $S = 9 + 1 + 1 + 1 + 0 + 16 = 28$.
• Prévision : pour une saison à $800$ mm, $x = 8$ et $y = 8 + 3 = 11$ : on peut prévoir un rendement d'environ $11$ quintaux par hectare.

Exemple 5. Pour l'exemple 3 (pêche), $V(x) = \dfrac{145}{5} - 25 = 4$, donc $a = \dfrac{-4}{4} = -1$ et $b = 7 - (-1) \times 5 = 12$ : $D_{y/x}$ : $y = -x + 12$. Un jour où l'on débarque $3$ tonnes, on peut estimer le prix à $9$ centaines de francs CFA, soit $900$ F CFA le kilo.