Por que o teste do qui-quadrado usa a contagem esperada como variação?

No , qual é a base para usar a raiz quadrada das contagens esperadas como os desvios padrão (isto é, as contagens esperadas como as variações) de cada uma das distribuições normais? A única coisa que pude encontrar discutindo isso é o http://www.physics.csbsju.edu/stats/chi-square.html , e apenas menciona as distribuições de Poisson. $\chi^2$

Como uma ilustração simples da minha confusão, e se estivéssemos testando se dois processos são significativamente diferentes, um que gera 500 As e 500 Bs com variância muito pequena e outro que gera 550 As e 450 Bs com variância muito pequena (raramente gerando 551 As e 449 Bs)? A variação aqui não é claramente o valor esperado?

(Não sou estatístico, estou realmente procurando uma resposta que seja acessível a quem não é especialista.)

hypothesis-testing chi-squared

— Yang
fonte

Provavelmente isso tem algo a ver com o fato de que a variação aleatória de uma variável aleatória é e também com o fato de que a estatística deve ser multiplicada por 2 para ter a distribuição correta (como no exemplo teste de razão de verossimilhança). Talvez alguém saiba disso mais formalmente.

χ_{k}^{2}

$\chi^{2}_{k}$

2 k

$2k$

— Macro

Respostas:

A forma geral para muitas estatísticas de teste é

$\frac{observed - expected}{standard error}$

No caso de uma variável normal, o erro padrão é baseado na variação populacional conhecida (estatísticas z) ou na estimativa da amostra (estatísticas t). Com o binomial, o erro padrão é baseado na proporção (proporção hipotética para testes).

Em uma tabela de contingência, a contagem em cada célula pode ser vista como proveniente de uma distribuição de Poisson com uma média igual ao valor esperado (abaixo do nulo). A variação para a distribuição de Poisson é igual à média, portanto, usamos o valor esperado também para o cálculo do erro padrão. Vi uma estatística que usa o observado em vez disso, mas tem menos justificativa teórica e não converge também para a distribuição do . $\chi^2$

— Greg Snow
fonte

Estou ficando preso na conexão com o Poisson / entendendo por que cada célula pode ser pensada como proveniente de um Poisson. Conheço a média / variância de Poissons e sei que elas representam o número de eventos que recebem uma taxa. Eu também sei que as distribuições qui-quadrado representam a soma dos quadrados das normais padrão (variância 1). Só estou tentando entender a justificativa de reutilizar o valor esperado como uma suposição da "propagação" de cada normal. Isso é apenas para tornar tudo conforme a distribuição do qui-quadrado / "padronizar" as normais?

— Yang

Existem alguns problemas: a distribuição de Poisson é comum para contagens quando as coisas são razoavelmente independentes. Em vez de pensar na tabela como tendo um total fixo e você estiver distribuindo os valores entre as células da tabela, pense em apenas uma célula da tabela e aguarde um tempo fixo para ver quantas respostas caem nessa célula , isso se encaixa na idéia geral do Poisson. Para médias grandes, é possível aproximar um Poisson com uma distribuição normal, portanto a estatística de teste faz sentido como uma aproximação normal ao Poisson e depois converter para

χ^{2}

$\chi^2$

— Greg Neve

(+1) Suponha que a célula conta

eram variáveis aleatórias independentes de Poisson com média

. Então, certamente,

X_{i}, \dots, X_{k}

$X_i,\ldots,X_k$

n π_{i}

$n\pi_i$

na distribuição. Mas, o problema disso é que

é umparâmetroe não a contagem real observada. As contagens totais observadas são

. Embora

quase certamente pelo SLLN, mais trabalho tenha que ser feito para transformar a heurística em algo viável.

\sum_{i = 1}^{k} \frac{(X_{i} - n π_{i})^{2}}{n π_{i}} \to χ_{k}^{2}

$\sum_{i=1}^k \frac{(X_i - n\pi_i)^2}{n \pi_i} \to \chi_k^2$

n

$n$

N = \sum_{i = 1}^{k} X_{i} \sim P o i (n)

$N = \sum_{i=1}^k X_i \sim \mathrm{Poi}(n)$

N / n \to 1

$N/n \to 1$

— cardeal

— Yang

@ Yang: Parece que seus dados - que você não descreveu - não estão em conformidade com o modelo subjacente ao uso da estatística qui-quadrado. O modelo padrão é de amostragem multinomial . A rigor, nem mesmo a amostragem (incondicional) de Poisson é abordada, o que a resposta de Greg supõe. Faço referência (talvez obtusa) a isso no meu comentário anterior.

— cardeal

Vamos tratar do caso mais simples para tentar fornecer o máximo de intuição. Seja uma amostra iid de uma distribuição discreta com resultados. Seja as probabilidades de cada resultado específico. Estamos interessados na distribuição (assintótica) da estatística qui-quadrado $X_1, X_2, \ldots, X_n$ $k$ $\pi_1,\ldots,\pi_k$ Aqui é o número esperado de contagens do th resultado.

X^{2} = \sum_{Eu = 1}^{k} \frac{(S_{Eu} - n π_{Eu})^{2}}{n π_{Eu}} .

$X^2 = \sum_{i=1}^k \frac{(S_i - n \pi_i)^2}{n\pi_i} \> .$

n π_{i}

$n \pi_i$

i

$i$

Uma heurística sugestiva

Defina , de modo que em que. $U_i = (S_i - n\pi_i) / \sqrt{n \pi_i}$ $X^2 = \sum_i U_i^2 = \newcommand{\U}{\mathbf{U}}\|\U\|^2_2$ $\U = (U_1,\ldots,U_k)$

Como é , então pelo Teorema do Limite Central , $S_i$ $\mathrm{Bin}(n,\pi_i)$ portanto, também temos isso, .

T_{Eu} = \frac{{você}_{Eu}}{\sqrt{1 - π_{Eu}}} = \frac{S_{Eu} - n π_{Eu}}{\sqrt{n π_{Eu} (1 - π_{Eu})}} \overset{d}{\to} N (0 0, 1),

$\newcommand{\convd}{\xrightarrow{d}}\newcommand{\N}{\mathcal{N}} T_i = \frac{U_i}{\sqrt{1-\pi_i}} = \frac{S_i - n \pi_i}{\sqrt{ n\pi_i(1-\pi_i)}} \convd \N(0, 1) \>,$

U_{i} \overset{d}{\to} N (0, 1 - π_{i})

$U_i \convd \N(0, 1-\pi_i)$

Agora, se o foram (assintoticamente) independente (que não são), então poderíamos argumentar que foi asymptotically distribuído. Mas, nota que é uma função determinística de e assim os variáveis não pode ser independente. $T_i$ $\sum_i T_i^2$ $\chi_k^2$ $T_k$ $(T_1,\ldots,T_{k-1})$ $T_i$

Portanto, devemos levar em conta a covariância entre eles de alguma forma. Acontece que a maneira "correta" de fazer isso é usar o vez, e a covariância entre os componentes de também altera a distribuição assintótica do que poderíamos ter pensado que era para o que é, de fato, a . $U_i$ $\U$ $\chi_{k}^2$ $\chi_{k-1}^2$

Alguns detalhes sobre isso a seguir.

Um tratamento mais rigoroso

Não é difícil verificar se, de fato, $\newcommand{\Cov}{\mathrm{Cov}}\Cov(U_i, U_j) = - \sqrt{\pi_i \pi_j}$ $i \neq j$

$\U$

UMA = Eu - \sqrt{π} {\sqrt{π}}^{T},

$\newcommand{\sqpi}{\sqrt{\boldsymbol{\pi}}} \newcommand{\A}{\mathbf{A}} \A = \mathbf{I} - \sqpi \sqpi^T \>,$

\sqrt{π} = (\sqrt{π_{1}}, \dots, \sqrt{π_{k}})

$\sqpi = (\sqrt{\pi_1}, \ldots, \sqrt{\pi_k})$

A

$\A$

A = A^{2} = A^{T}

$\A = \A^2 = \A^T$

Z = (Z_{1}, \dots, Z_{k})

$\newcommand{\Z}{\mathbf{Z}}\Z = (Z_1, \ldots, Z_k)$

A Z \sim N (0, A)

$\A \Z \sim \N(0, \A)$

$\U$ $0$ $\A$

$\U$ $\A \Z$ $X^2 = \U^T \U$ $\Z^T \A^T \A \Z = \Z^T \A \Z$

$\A$ $\mathrm{rank}(\A)$ $\A$ $\A = \mathbf{Q D Q}^T$ $\mathbf{Q}$ $\mathbf{D}$ $\mathrm{rank}(\A)$

$\Z^T \A \Z$ $\chi^2_{k-1}$ $\A$ $k-1$

Outras conexões

A estatística do qui-quadrado também está intimamente relacionada à estatística da razão de verossimilhança. De fato, é uma estatística de pontuação Rao e pode ser vista como uma aproximação da série de Taylor da estatística da razão de verossimilhança.

Referências

Este é o meu próprio desenvolvimento baseado na experiência, mas obviamente influenciado por textos clássicos. Bons lugares para procurar aprender mais são

GAF Seber e AJ Lee (2003), Linear Regression Analysis , 2ª ed., Wiley.
E. Lehmann e J. Romano (2005), Testing Statistical Hypotheses , 3a ed., Springer. Seção 14.3 em particular.
DR Cox e DV Hinkley (1979), Estatística Teórica , Chapman e Hall.

— cardeal
fonte

(+1) Penso que é difícil encontrar essa prova em textos padrão de análise de dados categóricos como Agresti, A. (2002). Análise de dados categóricos. John-Wiley.

— suncoolsu

Obrigado pelo comentário. Sei que há algum tratamento da estatística do qui-quadrado em Agresti, mas não me lembro até que ponto ele a leva. Ele pode apenas apelar para a equivalência assintótica com a estatística da razão de verossimilhança.

— cardeal

k - 1

$k-1$

X

$X$

S

$S$