Por que um teste de razão de verossimilhança é distribuído qui-quadrado?

Por que a estatística do teste de uma razão de verossimilhança é distribuída qui-quadrado?

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

Como mencionado por @Nick, isso é uma consequência do teorema de Wilks . Mas observe que a estatística do teste é assintoticamente distribuída com , não distribuída com χ 2 .$\chi^2$$\chi^2$

Estou muito impressionado com esse teorema, porque ele se mantém em um contexto muito amplo. Considere-se um modelo estatístico com probabilidade , onde y é as observações vector de n observações replicadas independentes de um parâmetro de distribuição com θ pertencente a uma subvariedade B um de R d com dimensão fraca ( B 1 ) = s . Seja B 0 ⊂ B 1 uma subvariedade com dimensão dim ( B $l(\theta \mid y)$$y$$n$$\theta$$B_1$$\mathbb{R}^d$$\dim(B_1)=s$$B_0 \subset B_1$ . Imagine que você está interessado em testar H 0 : { θ ∈ B 0 } .$\dim(B_0)=m$$H_0\colon\{\theta \in B_0\}$

A razão de verossimilhança é Defina odesviod(y)=2log(lr(y)). EntãoWilks teoremadiz que, sob premissas de regularidade usuais,d(y)é assintoticamenteχ2-distributed coms-mgraus de liberdade quandoH0é válido.

Está comprovado no artigo original de Wilk mencionado por @Nick. Eu acho que este artigo não é fácil de ler. Wilks publicou um livro mais tarde, talvez com uma apresentação mais fácil de seu teorema. Uma breve prova heurística é dada no excelente livro de Williams .

Concordo com o comentário severo de Nick Sabbe, e minha resposta curta é: não é . Quero dizer, é apenas no modelo linear normal. Para absolutamente qualquer outro tipo de circunstância, a distribuição exata não é um . Em muitas situações, você pode esperar que as condições do teorema de Wilks sejam satisfeitas e, em seguida, assintoticamente, as estatísticas do teste da razão de verossimilhança de log convergem na distribuição para χ 2 . Limitações e violações das condições do teorema de Wilks são numerosas demais para serem desconsideradas.$\chi^2$$\chi^2$

1. $\Rightarrow$$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$ (Rao & Scott). For i.i.d. data, $a_k=1$, and the sum becomes the $\chi^2$. But for non-independent data, this is no longer the case.
2. The theorem assumes the true parameter to be in the interior of the parameter space. If you have a Euclidean space to work with, that's not an issue. However, in some problems, the natural restrictions may arise, such as variance $\ge$ 0 or correlation between -1 and 1. If the true parameter is one the boundary, then the asymptotic distribution is a mixture of $\chi^2$ with different degrees of freedom, in the sense that the cdf of the test is the sum of such cdfs (Andrews 2001, plus two or three more of his papers from the same period, with history going back to Chernoff 1954).
3. $N(\mu_0,\sigma^2_0)$ vs. the alternative of two distinct components $f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$ with a mixing fraction $f$. The null is apparently nested in the alternative, but this can be expressed in a variety of ways: as $f=0$ (in which case the parameters $\mu_1,\sigma_1^2$ are not identified), $f=1$ (in which case $\mu_2, \sigma_2^2$ are not identified), or $\mu_1=\mu_2, \sigma_1=\sigma_2$ (in which case $f$ is not identified). Here, you can't even say how many degrees of freedom your test should have, as you have different number of restrictions depending on how you parameterize the nesting. See the work of Jiahua Chen on this, e.g. CJS 2001.
4. The $\chi^2$ may work OK if the distribution has been correctly specified. But if it was not, the test will break down again. In the (largely neglected by statisticians) subarea of multivariate analysis known as structural equation covariance modeling, a multivariate normal distribution is often assumed, but even if the structure is correct, the test will misbehave if the distribution is different. Satorra and Bentler 1995 show that the distribution will become $\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$, the same story as with non-independent data in my point 1, but they've also demonstrated how the $a_k$s depend on the structure of the model and the fourth moments of the distribution.
5. For finite samples, in a large class of situations likelihood ratio is Bartlett-correctible: while ${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$ for a sample of size $n$, and $F(x;\chi^2_d)$ being the distribution function of the $\chi^2_d$ distribution, for the regular likelihood problems you can find a constant $b$ such that ${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$, i.e., to a higher order of accuracy. So the $\chi^2$ approximation for finite samples can be improved (and arguably should be improved if you know how). The constant $b$ depends on the structure of the model, and sometimes on the auxiliary parameters, but if it can be consistently estimated, that works, too, in improving the order of coverage.

For a review of these and similar esoteric issues in likelihood inference, see Smith 1989.