Resposta curta
A densidade de probabilidade de uma Gaussiana multivariada distribuído variável x = ( x1, x2, . . . , xn) , com média μ = ( μ1, μ2, . . . , μn) está relacionado com o quadrado de a distância euclidiana entre a média e a variável ( | μ - x |22 ), ou seja, a soma dos quadrados.
Resposta longa
Se você multiplicar várias distribuições gaussianas para seus n erros, em que assume desvios iguais, obtém uma soma dos quadrados.
L ( μj, xeu j) =P( xeu j| μj)= ∏ni = 112 πσ2√e x p [ - ( xeu j- μEu)22 σ2]= ( 12 πσ2√)ne x p [ - ∑ni = 1( xeu j- μEu)22 σ2]
ou na forma logarítmica conveniente:
registro( L ( μj, xeu j) ) =nlog( 12 πσ2----√) - 12 σ2∑i = 1n( xeu j- μj)2
Portanto, otimizar o μ para minimizar a soma dos quadrados é igual a maximizar a probabilidade (log) (isto é, o produto de múltiplas distribuições gaussianas ou a distribuição gaussiana multivariada).
É esse quadrado aninhado da diferença ( μ - x ) dentro da estrutura exponencial, e x p [ ( xEu- μ )2] , que outras distribuições não possuem.
Compare, por exemplo, com o caso das distribuições de Poisson
registro( L ) = log( ∏ μxeu jjxeu j!e x p [ - μj] ) =-∑ μj- ∑ l o g( xeu j! ) + ∑ l o g( μj) xeu j
que tem um máximo quando o seguinte é minimizado:
∑ μj- l o g( μj) xeu j
que é um animal diferente.
Além disso (história)
O histórico da distribuição normal (ignorando o deMoivre chegar a essa distribuição como uma aproximação para a distribuição binomial) é na verdade a descoberta da distribuição que faz o MLE corresponder ao método dos mínimos quadrados (em vez de o método dos mínimos quadrados ser um método que pode expressar o MLE da distribuição normal, primeiro veio o método dos mínimos quadrados, depois veio a distribuição gaussiana)
e- x2
Da tradução de Charles Henry Davis (Teoria do movimento dos corpos celestes movendo-se sobre o sol em seções cônicas. Uma tradução do "Theoria motus" de Gauss, com um apêndice) ...
Gauss define:
ΔΔψ Δ
(Itálico feito por mim)
E continua ( na seção 177 pp. 258 ):
ψ′ΔΔklog ψΔ=12kΔΔ+Constant
ψΔ=xe12kΔΔ
eConstant=logx
k<0
ψΔ=hπ−−√e−hhΔΔ
Escrito por StackExchangeStrike