O que é comum, em mínimos quadrados comuns?

Recentemente, um amigo meu perguntou o que há de tão comum nos mínimos quadrados comuns. Não parecemos chegar a lugar algum na discussão. Nós dois concordamos que o OLS é um caso especial do modelo linear, tem muitos usos, é bem conhecido e é um caso especial de muitos outros modelos. Mas isso é realmente tudo?

Por isso, gostaria de saber:

De onde veio o nome?
Quem foi o primeiro a usar o nome?

— Repmat
fonte

É comum, porque existem outras variantes agora. Pesada. Robusto. não linear. ... Comum é como você evita que isso seja confundido com outra coisa.

— EngrStudent

Como suposição, o OLS é provavelmente o primeiro algoritmo de ajuste numérico desenvolvido por volta de 1805 AD . O nome comum foi provavelmente adicionado depois que variações sobre o tema foram desenvolvidas.

— Carl

Os mínimos quadrados em são freqüentemente chamados de mínimos quadrados ordinários (OLS), porque foi o primeiro procedimento estatístico a ser desenvolvido por volta de 1800, veja a história . É equivalente a minimizar a norma , . Posteriormente, mínimos quadrados ponderados, minimização de outras normas (por exemplo, ), mínimos quadrados generalizados , Estimativa M , minimização bivariada (por exemplo, regressão de Deming), regressão não paramétrica, regressão de probabilidade máxima, regularização (por exemplo, Tikhonov, cordilheira) e outro $y$ $L_2$ $||Y-f(X)||_2$ $L_1$ técnicas de problemas inversos e várias outras ferramentas foram desenvolvidas. Ainda há controvérsia sobre quem o aplicou, Gauss ou Legendre (ver link ). O termo "ordinário" (implicando em ) foi obviamente adicionado a "mínimos quadrados" somente depois que surgiram tantos métodos alternativos que os OLS (ainda mais) populares precisavam ser diferenciados da infinidade de outras minimizações disponíveis. Quando a adição exata de quadrados mínimos comuns seria difícil de rastrear, pois isso ocorreu quando se tornou natural ou óbvio fazê-lo. $y$ $+$

— Carl
fonte

Você também pode contrastar o OLS com o WLS, mínimos quadrados ponderados, o que minimiza os quadrados ponderados.

— Adamo

Na verdade, já está um pouco sob "outras" normas, por exemplo,

é ponderado.

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$

— 12241 Carl

Esta é uma pergunta antiga, se bem me lembro, estava realmente interessada (na época) em descobrir quem usou o termo OLS pela primeira vez ... Acho que nunca vou saber ... Boa resposta

— th

L_{2}

$L_2$

L_{2}

$L_2$

Concordo com o @AdamO que ordinário versus ponderado * parece o provável contraste. (* Em vez disso, "generalizada" Na ciência computacional Eu acho que isso seria ainda apenas ser chamado ponderadas Por que uma matriz de peso tem que ser diagonal.??)

— GeoMatt22