Estimador de máxima verossimilhança do parâmetro de localização da distribuição de Cauchy

Eu alcancei até

$$\frac{d\ln L}{d\mu}=\sum_{i=1}^n \frac{2(x_i-u)}{1+(x_i-u)^2}$$

Onde é o parâmetro de localização. E é uma função de probabilidade. Eu não estou entendendo como proceder. Por favor ajude.$u$$L$

Ok, digamos que o pdf para o cauchy seja:

$f(x;\theta)=\frac{1}{\pi}\frac{1}{1+(x-\theta)^2}$ aqui é mediana, não média, pois para Cauchy a média é indefinida.$\theta$

$$L(\theta;x)=\frac{1}{\pi}\frac{1}{1+(x_1-\theta)^2}\frac{1}{\pi}\frac{1}{1+(x_2-\theta)^2}\cdots\frac{1}{\pi}\frac{1}{1+(x_n-\theta)^2}\\=\frac{1}{\pi^n} \frac{1}{\prod[1+(x_i-\theta)^2]}$$

$$\ell(\theta;x)=-n\log\pi-\sum_{i=1}^n\log[1+(x_i-\theta)^2]$$

$$\frac{d\ell(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$$

É exatamente isso que você tem, exceto aqui é mediana, não má. Suponho que seja mediano em sua fórmula.$\theta$$u$

Próxima etapa, para encontrar mle, precisamos definir$\frac{d\ell(\theta;x)}{d\theta} = \sum_{i=1}^n \frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

Agora é sua variável e valores conhecidos, você precisa resolver a equaçãox i s ∑ n i = 1 2 ( x i - θ $\theta$$x_is$$\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

ou seja, resolver . Parece resolver esta equação será muito difícil. Portanto, precisamos do método de Newton-Raphson.$\frac{2(x_1-\theta)}{1+(x_1-\theta)^2}+\frac{2(x_2-\theta)}{1+(x_2-\theta)^2}+\cdots+\frac{2(x_n-\theta)}{1+(x_n-\theta)^2}=0$

Eu acho que muitos livros de cálculo falam sobre o método

A fórmula do método Newton-Raphson pode ser escrita como

$$\hat{\theta^1}=\hat{\theta^0}-\frac{\ell'(\hat{\theta^0})}{\ell''(\hat{\theta^0})} \tag 1$$

$\hat{\theta^0}$ é o seu palpite inicial de$\theta$

$\ell'$ é a primeira derivada da função de probabilidade de log.

$\ell''$ é a segunda derivada da função de probabilidade de log.

De você pode obter depois colocar em depois obter e colocá-lo em para obter ... continue com as iterações até que não haja grandes alterações entre e ^ θ 1 ^ θ 1 (1) ^ θ 2 (1) ^ θ 3 ^ θ n ^ θ n - $\hat{\theta^0}$$\hat{\theta^1}$$\hat{\theta^1}$$(1)$$\hat{\theta^2}$$(1)$$\hat{\theta^3}$$\hat{\theta^n}$$\hat{\theta^{n-1}}$

Os itens a seguir são a função R que escrevi para obter a distribuição Cauchy.

mlecauchy=function(x,toler=.001){      #x is a vector here
startvalue=median(x)
n=length(x);
thetahatcurr=startvalue;
# Compute first deriviative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
# Continue Newton’s method until the first derivative
# of the likelihood is within toler of 0.001
while(abs(firstderivll)>toler){
# Compute second derivative of log likelihood
 secondderivll=2*sum(((x-thetahatcurr)^2-1)/(1+(x-thetahatcurr)^2)^2);
# Newton’s method update of estimate of theta
thetahatnew=thetahatcurr-firstderivll/secondderivll;
thetahatcurr=thetahatnew;
# Compute first derivative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
}
list(thetahat=thetahatcurr);
}

Agora, suponha que seus dados sejam$x_1=1.94,x_2=0.59,x_3=-5.98,x_4=-0.08,x_5-0.77$

x<-c(-1.94,0.59,-5.98,-0.08,-0.77)
mlecauchy(x,0.0001)

Resultado:

#$thetahat
#[1] -0.5343968

Também podemos usar a função R build para obter mle.

optimize(function(theta) -sum(dcauchy(x, location=theta, log=TRUE)),  c(-100,100)) 

#we use negative sign here

Resultados:

#$minimum
#[1] -0.5343902

O resultado é quase o mesmo que os códigos caseiros.

---

Ok, conforme necessário, vamos fazer isso manualmente.

Primeiro, obtemos um palpite inicial de que será a mediana dos dados$-5.98, -1.94, -0.77, -0.08, 0.59$

A mediana é$-0.77$

Em seguida, já sabemos que$l'(\theta)=\frac{dl(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$

e

$$l''(\theta)=\frac{dl^2(\theta;x)}{d(\theta}=\frac{d(\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2})}{d\theta}=2\sum_{i=1}^n\frac{(x_i-\theta)^2-1}{[1+(x_i-\theta)^2]^2}$$

Agora, conectamos o ou seja, a mediana de e$\hat{\theta^0}$$l'(\theta)$$l''(\theta)$

ou seja, substitua por ou seja, mediana ou seja$\theta$$\hat{\theta^0}$$-0.77$

$$\begin{align} \ell'(\theta) = {} & \sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2} \\[10pt] = {} &\frac{2[-5.98-(-0.77)]}{1+[(-5.98-(-0.77)^2]} + \frac{2[-1.94-(-0.77)]}{1+[(-1.94-(-0.77)^2]} + \frac{2[-0.77-(-0.77)]}{1+[(-0.77-(-0.77)^2]} \\[6pt] & {} +\frac{2[-0.08-(-0.77)]}{1+[(-0.08-(-0.77)^2]} +\frac{2[0.59-(-0.77)]}{1+[(0.59-(-0.77)^2]}\\[10pt] = {} & \text{??} \end{align}$$

Em seguida, conecte a e para obter seguida, você pode obter$x_1$$x_5$$-0.77$$\ell''(\theta)$$\hat{\theta^1}$

Ok, eu tenho que parar por aqui, é muito problemático calcular esses valores manualmente.