Por que esse trecho diz que a estimativa imparcial do desvio padrão geralmente não é relevante?

Eu estava lendo sobre o cálculo da estimativa imparcial do desvio padrão e a fonte que li declarada

(...) exceto em algumas situações importantes, a tarefa tem pouca relevância para aplicações de estatística, uma vez que sua necessidade é evitada por procedimentos padrão, como o uso de testes de significância e intervalos de confiança, ou usando a análise bayesiana.

Fiquei me perguntando se alguém poderia esclarecer o raciocínio por trás dessa afirmação, por exemplo, o intervalo de confiança não usa o desvio padrão como parte do cálculo? Portanto, os intervalos de confiança não seriam afetados por um desvio padrão tendencioso?

EDITAR:

Obrigado pelas respostas até agora, mas não tenho muita certeza de seguir alguns dos motivos para elas, então adicionarei um exemplo muito simples. O ponto é que, se a fonte estiver correta, então algo está errado na minha conclusão do exemplo e eu gostaria que alguém apontasse como o valor de p não depende do desvio padrão.

Suponha que um pesquisador desejasse testar se a pontuação média dos alunos da quinta série em um teste em sua cidade era diferente da média nacional de 76, com um nível de significância de 0,05. O pesquisador amostrou aleatoriamente as pontuações de 20 alunos. A média da amostra foi de 80,85, com um desvio padrão da amostra de 8,87. Isso significa: t = (80,85-76) / (8,87 / sqrt (20)) = 2,44. Uma tabela t é então usada para calcular que o valor de probabilidade bicaudal de 2,44 com 19 df é 0,025. Como está abaixo do nosso nível de significância de 0,05, rejeitamos a hipótese nula.

Portanto, neste exemplo, o valor p (e talvez sua conclusão) não mudaria dependendo de como você estimou o desvio padrão da amostra?

— BYS2
fonte

Isso parece estranho, pela razão que você dá. Talvez você possa nos dar o parágrafo antes, caso haja algo que esteja faltando? Uma coisa que torna o viés não muito importante é que ele se torna bastante sem importância à medida que o tamanho da amostra aumenta, e provavelmente não é material comparado a todos os outros problemas, por exemplo, erros de especificação do modelo que normalmente temos - mas esse não é o motivo. dado em sua fonte.

— Peter Ellis

@ PeterEllis, na verdade, é da página da Wikipédia sobre "estimativa imparcial do desvio padrão" ( en.wikipedia.org/wiki/Unbially_estimation_of_standard_deviation ).

— BYS2

Respostas:

Eu concordo com Glen_b sobre isso. Talvez eu possa adicionar algumas palavras para tornar o argumento ainda mais claro. Se os dados provêm de uma distribuição normal (situação iid) com uma variação desconhecida, a estatística t é a quantidade central usada para gerar intervalos de confiança e fazer testes de hipóteses. A única coisa que importa para essa inferência é sua distribuição sob a hipótese nula (para determinar o valor crítico) e sob a alternativa (para determinar potência e amostra). Essas são as distribuições t centrais e não centrais, respectivamente. Agora, considerando por um momento o problema de uma amostra, o teste t ainda possui propriedades ótimas como teste para a média de uma distribuição normal. Agora, a variação da amostra é um estimador imparcial da variação da população, mas sua raiz quadrada é um estimador BIASED do desvio padrão da população. Não Não importa que esse estimador BIASED entre no denominador da quantidade central. Agora, ele desempenha um papel, pois é um estimador consistente. É isso que permite que a distribuição t se aproxime do normal padrão à medida que o tamanho da amostra chega ao infinito. Mas ser tendencioso para qualquer não afeta as boas propriedades do teste. $n$

Na minha opinião, a imparcialidade é super enfatizada nas aulas de estatística introdutórias. Precisão e consistência dos estimadores são as propriedades reais que merecem destaque.

Para outros problemas em que métodos paramétricos ou não paramétricos são aplicados, uma estimativa do desvio padrão nem sequer entra na fórmula.

— Michael R. Chernick
fonte

Depende da estimativa, mas existe apenas uma estimativa para a qual o t com 19 graus de liberdade se aplica e essa estimativa é a raiz quadrada da estimativa usual da variação da amostra. Se você usar uma estimativa diferente do desvio padrão, terá uma distribuição de referência diferente para a estatística de teste sob a hipótese nula. Não é o t.

— Michael R. Chernick

@ BYS2: Observe que, em termos do intervalo construído no exemplo que você fornece, nada muda multiplicando o desvio padrão da amostra por um fator de escala (por exemplo, para torná-lo imparcial). A distribuição da estatística do teste mudaria (levemente) nesse caso, mas o IC construído acabaria sendo exatamente o mesmo! Agora, se você fizesse alguma "correção" que dependesse dos próprios dados, isso produziria algo diferente (em geral). Veja meu comentário na resposta de Glen.

— cardeal

@ BYS2: No caso do modelo normal, usando a estatística

, há uma boa correspondência entre ICs e valor-

. Portanto, o valor-

não será alterado se você "redimensionar" o desvio padrão da amostra por uma constante conhecida. Por exemplo: Let

para fixo

. Então,

t

$t$

p

$p$

p

$p$

{\tilde{T}}_{b} = (\bar{X} - μ) / (b \cdot \hat{σ}) = T / b

$\tilde T_b = (\bar X - \mu)/(b\cdot \hat \sigma) = T / b$

b > 0

$b > 0$

e, portanto, o valor crítico

, ou seja, existe uma correspondência individual entre eles. Isso faz sentido?

P ({\tilde{T}}_{b} > u) = P (T > b u)

$\mathbb P(\tilde T_b > u) = \mathbb P(T > b u)$

{\tilde{t}}_{b, α} = b t_{α}

$\tilde t_{b,\alpha} = b t_\alpha$

— cardeal

Não é o que o Cardinal está apontando corretamente é que é possível multiplicar a estatística t por uma constante para usar essencialmente uma estimativa diferente do desvio padrão. A estatística de teste não tem mais a distribuição t. É uma distribuição ligeiramente diferente por causa da constante. A média muda por um fator de b e o desvio padrão também. Quando você calcula o valor crítico para a estatística de teste, ele muda adequadamente, conforme demonstrado acima.

— Michael R. Chernick

@ BYS2 Sim, está certo.

— Michael R. Chernick 29/07

Considere um intervalo calculado com base em uma quantidade crucial, como uma estatística t. O valor médio do estimador para o desvio padrão não chega a ele - o intervalo é baseado na distribuição da estatística. Portanto, a afirmação está correta quanto a isso.

— Glen_b -Reinstate Monica
fonte

Sim, mas a distribuição da estatística não se baseia em seu desvio padrão, que é desconhecido na maioria dos casos, então você precisa usar um estimador?

— BYS2

(+1) Glen. Para @ BYS2: Existem alguns pontos-chave aqui. Primeiro, se tivermos uma quantidade essencial em mãos, ele fornece um meio muito conveniente para construir conjuntos de confiança, mas eles geralmente não existem. O ponto principal de uma quantidade essencial é que a distribuição depende puramente de quantidades conhecidas . Segundo, a quantidade central está intimamente ligada ao modelo subjacente. Se os dados se desviarem do modelo assumido, a distribuição da estatística de teste também poderá ser bem e sua caracterização como uma quantidade essencial pode não ser tão relevante. :)

— cardeal

A interpretação é sempre especulação parcial, mas acho que o significado implícito é que geralmente você pode obter o resultado desejado sem estimar explicitamente o desvio padrão. Em outras palavras, acho que o autor está se referindo a situações em que você não usaria uma estimativa do desvio padrão, em vez de uma estimativa tendenciosa.

Por exemplo, se você pode construir uma estimativa de toda a distribuição de uma estatística, pode calcular intervalos de confiança sem usar o desvio padrão. De fato, para muitas distribuições (não normais), o próprio desvio padrão (e a média) não é suficiente para calcular uma estimativa do intervalo de confiança. Em outros casos, como um teste de sinal , você também não precisa de uma estimativa para o desvio padrão.

(Obviamente, não é trivial construir uma estimativa imparcial de uma distribuição completa e, nas estatísticas bayesianas, é bastante comum introduzir viés explicitamente através do anterior.)

— MLS
fonte

Pode ser interessante expandir um pouco mais o que você quis dizer com o último parágrafo. Por exemplo, se eu puder amostrar a partir da distribuição da estatística em questão, o cdf empírico fornece um meio muito fácil e simples de gerar uma estimativa imparcial e pontual da função de distribuição. :)

— cardeal

max_{i} X_{i}

$\max_i X_i$

max_{i} X_{i}

$\max_i X_i$

X_{i}

$X_i$

X_{i}

$X_i$

i

$i$

max_{i} X_{i}

$\max_i X_i$

Isso é verdade e quase ao ponto que eu estava tentando extrair. A primeira frase do último parágrafo refere-se à construção de uma estimativa imparcial de uma função estatística não linear de, por exemplo, uma única amostra aleatória. Isso é bem diferente de construir uma estimativa imparcial de uma distribuição completa a partir de uma amostra aleatória da própria função. :-)

— cardeal