É possível provar uma hipótese nula?

Como afirma a pergunta - É possível provar a hipótese nula? Do meu entendimento (limitado) da hipótese, a resposta é não, mas não posso apresentar uma explicação rigorosa para ela. A pergunta tem uma resposta definitiva?

Se você está falando sobre o mundo real e não sobre a lógica formal, a resposta é clara. A "prova" de qualquer coisa por meios empíricos depende da força da inferência que se pode fazer, que por sua vez é determinada pela validade do processo de teste, avaliado à luz de tudo o que se sabe sobre como o mundo funciona (isto é, teoria). Sempre que alguém aceita que certos resultados empíricos justificam a rejeição da hipótese "nula", está necessariamente fazendo julgamentos desse tipo (validade do design; o mundo funciona de certa maneira), portanto, é necessário fazer as suposições análogas necessárias para justificar a "prova da null " não é problemático.

Então, quais são as suposições análogas? Aqui está um exemplo de "provar o nulo" que é comum nas ciências da saúde e nas ciências sociais. (1) Defina "nulo" ou "sem efeito" de alguma maneira que seja praticamente significativa. Digamos que acredito que devo me comportar como se não houvesse diferença significativa entre dois tratamentos, t1 e t2, para uma doença, a menos que um dê uma chance 3% maior de recuperação do que o outro. (2) Descubra um design válido para testar se há algum efeito - nesse caso, se há uma diferença na probabilidade de recuperação entre t1 e t2. (3) Faça uma análise de poder para determinar se o tamanho da amostra é necessário para gerar uma probabilidade suficientemente alta - na qual estou confiante, dependendo do que 'assumindo que existe. Geralmente, as pessoas dizem que o poder é suficiente se a probabilidade de observar um efeito especificado em um alfa especificado for pelo menos 0,80, mas o nível certo de confiança é realmente uma questão de quão avesso você é ao erro - o mesmo que quando você seleciona p limiar de valores para "rejeitar o nulo". (4) Realize o teste empírico e observe o efeito. Se estiver abaixo do valor "diferença significativa" especificado - 3% no meu exemplo - você "provou" que "não há efeito".

Para um bom tratamento desse assunto, consulte Streiner, DL Unicorns Do: existe um tutorial sobre “provar” a hipótese nula . Canadian Journal of Psychiatry 48, 756-761 (2003).

Resposta do lado matemático: é possível se e somente se "as hipóteses são mutuamente singulares".

Se por "provar" você quer dizer uma regra que pode "aceitar" (devo dizer isso :)) com probabilidade de cometer um erro que é zero, então você está pesquisando o que poderia ser chamado de "teste ideal" e isso existe:$H_0$

Se você estiver testando se uma variável aleatória é extraída de P 0 ou de P 1 (ou seja, teste H 0 : X ⇝ P 0 versus H 1 : X ⇝ P 1 ), existe um teste ideal se e somente se P 1 ⊥ P 0 ( P 1 e P 0 são "mutuamente singulares"). $X$$P_0$$P_1$$H_0: X\leadsto P_0$$H_1: X\leadsto P_1$ $P_1\bot P_0$$P_1$$P_0$

Se você não sabe o que significa "mutuamente singular", posso dar um exemplo: e U [ 3 , 4 ] (uniformes em [ 0 , 1 ] e [ 3 , 4 ] ) são mutuamente singulares . Isso significa que se você quiser testar$\mathcal{U}[0,1]$$\mathcal{U}[3,4]$$[0,1]$$[3,4]$

versus H 1 : X ⇝ U [ 3 , 4 $H_0: X\leadsto \mathcal{U}[0,1]$$H_1: X\leadsto \mathcal{U}[3,4]$

existe um teste ideal (adivinhe o que é :)): um teste que nunca está errado!

Se e P 0 não são mutuamente singulares, isso não existe (isso resulta do "somente se parte")!$P_1$$P_0$

Em termos não matemáticos, isso significa que você pode provar o nulo se e somente se a prova já estiver em suas suposições (ou seja, se e somente se você tiver escolhido as hipóteses e H 1 que são tão diferentes que uma única observação de H 0 não pode ser identificado como um de H 1 e vice-versa). $H_0$$H_1$$H_0$$H_1$

Sim, existe uma resposta definitiva. Essa resposta é: Não, não há como provar uma hipótese nula. O melhor que você pode fazer, tanto quanto eu sei, é jogar intervalos de confiança em torno de sua estimativa e demonstrar que o efeito é tão pequeno que pode muito bem ser essencialmente inexistente.

Para mim, o referencial teórico da decisão apresenta a maneira mais fácil de entender a "hipótese nula". Diz basicamente que deve haver pelo menos duas alternativas: a hipótese nula e pelo menos uma alternativa. Então, o "problema de decisão" é aceitar uma das alternativas e rejeitar as outras (embora seja preciso ser preciso sobre o que queremos dizer com "aceitar" e "rejeitar" a hipótese). Vejo a questão de "podemos provar a hipótese nula?" como análogo a "sempre podemos tomar a decisão correta?". Do ponto de vista da teoria da decisão, a resposta é claramente sim se

1) não há incerteza no processo de tomada de decisão, pois é um exercício matemático descobrir qual é a decisão correta.

2) aceitamos todas as outras premissas / premissas do problema. A mais crítica (eu acho) é que as hipóteses entre as quais estamos decidindo são exaustivas, e uma (e apenas uma) delas deve ser verdadeira e as outras devem ser falsas.

De um ponto de vista mais filosófico, não é possível "provar" nada, no sentido de que a "prova" depende inteiramente das suposições / axiomas que levam a essa "prova". Vejo a prova como um tipo de equivalência lógica, e não como um "fato" ou "verdade", no sentido de que, se a prova estiver errada, as suposições que levaram a ela também estarão erradas.

Aplicando isso à "comprovação da hipótese nula", posso "provar" que ela é verdadeira simplesmente assumindo que é verdadeira ou supondo que seja verdadeira se certas condições forem atendidas (como o valor de uma estatística).

Sim, é possível provar o nulo - exatamente no mesmo sentido em que é possível provar qualquer alternativa ao nulo. Em uma análise bayesiana, é perfeitamente possível que as probabilidades a favor do nulo versus qualquer uma das alternativas propostas a ele se tornem arbitrariamente grandes. Além disso, é falso afirmar, como algumas das respostas acima afirmam, que só se pode provar o nulo se as alternativas a ele forem desunidas (não se sobreponham ao nulo). Em uma análise bayesiana, toda hipótese tem uma distribuição de probabilidade anterior. Essa distribuição espalha uma massa unitária de probabilidade anterior entre as alternativas propostas. A hipótese nula coloca toda a probabilidade anterior em uma única alternativa. Em princípio, alternativas ao nulo podem colocar toda a probabilidade anterior em alguma alternativa não nula (em outro "ponto"), mas isso é raro. Em geral, as alternativas protegem, ou seja, espalham a mesma massa de probabilidade anterior por outras alternativas - excluindo a alternativa nula ou, mais comumente, incluindo a alternativa nula. A questão então se torna: qual hipótese coloca a probabilidade mais anterior onde os dados experimentais realmente caem. Se os dados caírem em torno de onde o nulo diz que eles devem cair, será a favor da probabilidade (entre as hipóteses propostas), MESMO QUE INCLUÍDO (NESTADO EM, NÃO MUTUAMENTE EXCLUSIVO COM) AS ALTERNATIVAS A ELE. A crença de que não é possível que uma alternativa aninhada seja mais provável do que o conjunto em que está aninhada reflete a falha em distinguir entre probabilidade e probabilidade. Embora seja impossível para um componente de um conjunto ser menos provável que o conjunto inteiro, é perfeitamente possível que a probabilidade posterior de um componente de um conjunto de hipóteses seja maior que a probabilidade posterior do conjunto como um todo. A probabilidade posterior de uma hipótese é o produto da função de probabilidade e a distribuição de probabilidade anterior que a hipótese apresenta. Se uma hipótese coloca toda a probabilidade anterior no lugar certo (por exemplo, no nulo), ela terá uma probabilidade posterior mais alta do que uma hipótese que coloca parte da probabilidade anterior no lugar errado (não no nulo). A probabilidade posterior de uma hipótese é o produto da função de probabilidade e a distribuição de probabilidade anterior que a hipótese apresenta. Se uma hipótese coloca toda a probabilidade anterior no lugar certo (por exemplo, no nulo), ela terá uma probabilidade posterior mais alta do que uma hipótese que coloca parte da probabilidade anterior no lugar errado (não no nulo). A probabilidade posterior de uma hipótese é o produto da função de probabilidade e a distribuição de probabilidade anterior que a hipótese apresenta. Se uma hipótese coloca toda a probabilidade anterior no lugar certo (por exemplo, no nulo), ela terá uma probabilidade posterior mais alta do que uma hipótese que coloca parte da probabilidade anterior no lugar errado (não no nulo).

Tecnicamente, não, uma hipótese nula não pode ser comprovada. Para qualquer tamanho de amostra fixo e finito, sempre haverá um tamanho de efeito pequeno, mas diferente de zero, para o qual seu teste estatístico praticamente não tem poder. Mais praticamente, porém, você pode provar que está dentro de um pequeno epsilon da hipótese nula, de modo que desvios menores que esse epsilon não sejam praticamente significativos.

Há um caso em que uma prova é possível. Suponha que você tenha uma escola e sua hipótese nula seja que o número de meninos e meninas seja igual. À medida que o tamanho da amostra aumenta, a incerteza na proporção de meninos e meninas tende a diminuir, chegando a ter certeza (que é o que eu suponho que você queira dizer com prova) quando toda a população de alunos é amostrada.

Porém, se você não possui uma população finita ou está fazendo uma amostragem com substituição e não consegue identificar indivíduos reamostrados, não é possível reduzir a incerteza a zero com uma amostra finita.

Eu gostaria de discutir aqui um ponto em que muitos usuários estão confusos. Qual é o verdadeiro significado da afirmação de Hipótese Nula H0: p = 0? Estamos tentando determinar se o parâmetro p é zero? Claro que não, não há como alcançar esse objetivo.

O que pretendemos estabelecer é que, dado o conjunto de dados, o valor do parâmetro avaliado seja (ou não) indiscernível de zero. Lembre-se de que o NHST é "injusto" em relação às hipóteses alternativas: ao nulo é atribuído um nível de confiança de 95% e apenas 5% à alternativa. Em conseqüência, um resultado "não significativo" não significa que H0 seja válido, mas simplesmente que não encontramos evidências suficientes de que a alternativa é provável.