Por que chamamos as equações da estimativa do quadrado mínimo em regressão linear as * equações normais *?

Quando queremos estimar parâmetros de regressão linear, fazemos equações normais até o modelo linear que contém número de incógnitas. Por que essas equações são chamadas de equações normais?

Darei o que talvez seja o entendimento mais comum, depois alguns detalhes adicionais.

Normal é um termo em geometria (Wikipedia):

Na geometria, um normal é um objeto, como uma linha ou vetor que é perpendicular a um determinado objeto.

que, por sua vez, parece vir de um termo para a praça de um carpinteiro ou pedreiro [1]

NORM e NORMAL. Segundo o OED, em latim norma poderia significar um quadrado usado por carpinteiros, pedreiros, etc., para obter ângulos retos, um ângulo reto ou um padrão ou padrão de prática ou comportamento. Esses significados são refletidos nos termos matemáticos com base na norma e no normal.

e, a partir da geometria, o termo se move para os espaços vetoriais.

A resposta direta para "equações normais" é dada aqui: http://mathworld.wolfram.com/NormalEquation.html

Ele é chamado uma equação normal, porque é normal para a gama de .$b-Ax$$A$

(Na notação de regressão usual, ' é normal para o intervalo de ')$y-Xb$$X$

Literalmente, os mínimos quadrados residual é perpendicular (em ângulo recto) para o espaço gerado por .$X$

O vetor está em dimensões. A matriz X abrange desses (ou dependendo de como sua notação é configurada; se é de classificação completa, é o número de colunas de X). A solução de mínimos quadrados é o ponto mais próximo nesse espaço estendido por ao vetor (de fato, literalmente, a projeção de no espaço estendido por ). É necessariamente o caso em que, minimizando a soma dos quadrados, a diferença é ortogonal ao espaço medido porn p p + 1 X X β X Y Y X Y - X β$y$$n$$p$$p+1$$X$$X\hat{\beta}$$X$$y$$y$$X$$y-X\hat{\beta}$$X$. (Se não fosse, haveria uma solução ainda menor.)

No entanto, como sugere whuber nos comentários, não é tão claro.

Olhando para [1] novamente:

O termo EQUAÇÃO NORMAL em mínimos quadrados foi introduzido por Gauss em 1822 [James A. Landau]. A "Terminologia Normativa" de Kruskal & Stigler (em Stigler (1999)) considera várias hipóteses sobre de onde o termo veio, mas não encontra nenhuma muito satisfatória.

No entanto, o método das equações normais é frequentemente creditado a Legendre, 1805.

[1] Miller, J. (ed) "Primeiros usos conhecidos de algumas das palavras da matemática, N" em Primeiros usos conhecidos de algumas das palavras da matemática