Ziliak (2011) se opõe ao uso de valores-p e menciona algumas alternativas; o que eles são?

Em um artigo recente que discute os deméritos de confiar no valor-p da inferência estatística, chamado "Matrixx vs. Siracusano e Student vs. Fisher, Estatística significante no julgamento" (DOI: 10.1111 / j.1740-9713.2011.00511.x), Stephen T. Ziliak se opõe ao uso de valores-p. Nos parágrafos finais, ele diz:

Os dados são a única coisa que já sabemos e com certeza. O que realmente queremos saber é algo bem diferente: a probabilidade de uma hipótese ser verdadeira (ou pelo menos praticamente útil), dados os dados que temos. Queremos saber a probabilidade de que os dois medicamentos sejam diferentes e em quanto, considerando as evidências disponíveis. O teste de significância - baseado na falácia do condicional transposto, a armadilha em que Fisher caiu - não tem e não pode nos dizer essa probabilidade. A função de poder, a função de perda esperada e muitos outros métodos Bayesianos e teóricos da decisão, descendentes de Student e Jeffreys, agora amplamente disponíveis e gratuitos on-line, funcionam.

Qual é a função de poder, a função de perda esperada e "outros métodos teóricos da decisão e bayesianos"? Esses métodos são amplamente utilizados? Eles estão disponíveis no R? Como esses novos métodos sugeridos são implementados? Como, por exemplo, eu usaria esses métodos para testar minha hipótese em um conjunto de dados? Caso contrário, usaria testes t convencionais e valores p de duas amostras?

Isso soa como outro artigo estridente de um indivíduo confuso. Fisher não caiu nessa armadilha, embora muitos estudantes de estatística o façam.

O teste de hipóteses é um problema teórico da decisão. Geralmente, você termina com um teste com um determinado limite entre as duas decisões (hipótese verdadeira ou hipótese falsa). Se você tiver uma hipótese que corresponda a um único ponto, como , poderá calcular a probabilidade dos seus dados resultantes quando forem verdadeiros. Mas o que você faz se não é um ponto único? Você obtém uma função de $\theta=0$$\theta$ . A hipótese é uma hipótese e você obtém essa função pela probabilidade de produzir seus dados observados, uma vez que são verdadeiros. Essa função é a função de poder. É muito clássico. Fisher sabia tudo sobre isso.$\theta\not= 0$

A perda esperada faz parte do mecanismo básico da teoria da decisão. Você tem vários estados da natureza e vários dados possíveis resultantes deles, além de algumas decisões possíveis que você pode tomar e deseja encontrar uma boa função de dados para decisão. Como você define bom? Dado um estado de natureza específico subjacente aos dados que você obteve e a decisão tomada por esse procedimento, qual é a sua perda esperada? Isso é mais simplesmente entendido em problemas de negócios (se eu fizer isso com base nas vendas que observei nos últimos três trimestres, qual é a perda monetária esperada?).

Os procedimentos bayesianos são um subconjunto de procedimentos teóricos da decisão. A perda esperada é insuficiente para especificar os melhores procedimentos exclusivos em todos os casos, exceto os triviais. Se um procedimento é melhor que outro nos estados A e B, obviamente você prefere, mas se um é melhor no estado A e um é melhor no estado B, qual você escolhe? É aqui que entram as idéias auxiliares, como procedimentos de Bayes, minimaxidade e imparcialidade.

$t$$t$$\alpha$$\beta$$p$$\alpha$$p$ valor acomoda esse uso.

Também estou um pouco confuso sobre o motivo pelo qual ele nomeia Student e Jeffreys, considerando que Fisher foi responsável pela ampla divulgação do trabalho de Student.

Basicamente, o uso cego dos valores-p é uma péssima idéia, e eles são um conceito bastante sutil, mas isso não os torna inúteis. Deveríamos objetar seu uso indevido por pesquisadores com pouca formação matemática? Absolutamente, mas vamos lembrar como era antes de Fisher tentar destilar algo para o homem no campo usar.

Eu recomendo focar em coisas como intervalos de confiança e verificação de modelo. Andrew Gelman fez um ótimo trabalho nisso. Eu recomendo os livros dele, mas também confira as coisas que ele colocou on-line, por exemplo, http://andrewgelman.com/2011/06/the_holes_in_my/

O pacote ez fornece proporções de probabilidade quando você usa a ezMixed()função para fazer modelagem de efeitos mistos. As proporções de verossimilhança visam quantificar evidências de um fenômeno comparando a verossimilhança (dados os dados observados) de dois modelos: um modelo "restrito" que restringe a influência do fenômeno a zero e um modelo "irrestrito" que permite influência diferente de zero de o fenomeno. Após corrigir as probabilidades observadas para a complexidade diferencial dos modelos (por meio do Critério de informação de Akaike, que é assintoticamente equivalente à validação cruzada), a razão quantifica as evidências para o fenômeno.

Todas essas técnicas estão disponíveis em R no mesmo sentido em que toda a álgebra está disponível no seu lápis. Até valores p estão disponíveis através de muitas funções diferentes em R, decidir qual função usar para obter um valor p ou um posterior Bayesiano é mais complexo do que um ponteiro para uma única função ou pacote.

Depois de aprender sobre essas técnicas e decidir qual pergunta você realmente deseja também, você poderá ver (ou podemos fornecer mais ajuda) como fazê-lo usando R (ou outras ferramentas). Apenas dizer que você deseja minimizar sua função de perda ou obter uma distribuição posterior é tão útil quanto responder "comida" quando perguntado o que você quer comer no jantar.