O "Teorema Sem Almoço Gratuito" se aplica a testes estatísticos gerais?


12

Uma mulher para quem eu estava trabalhando me pediu para fazer uma ANOVA unidirecional em alguns dados. Respondi que os dados eram dados de medidas repetidas (séries temporais) e que achava que a suposição de independência era violada. Ela respondeu que eu não deveria me preocupar com as suposições, basta fazer o teste e ela levaria em conta que as suposições podem não ter sido atendidas.

Isso não me pareceu certo. Eu fiz algumas pesquisas e achei este maravilhoso post de David Robinson, K-significa clustering não é um almoço grátis , o que me expôs ao Teorema do Não Almoço Gratuito. Eu olhei para o artigo original e alguns seguem coisas, e francamente a matemática está um pouco acima da minha cabeça.

A essência - segundo David Robinson - parece ser que o poder de um teste estatístico deriva de suas suposições. E ele dá dois ótimos exemplos. À medida que passo a percorrer os outros artigos e postagens do blog, parece sempre ser referenciado em termos de aprendizado supervisionado ou pesquisa.

Então, minha pergunta é: esse teorema se aplica a testes estatísticos em geral? Em outras palavras, pode-se dizer que o poder de um teste t ou ANOVA deriva de sua aderência às premissas e citar o Teorema Sem Almoço Gratuito?

Devo ao meu ex-chefe um documento final sobre o trabalho que fiz e gostaria de saber se posso fazer referência ao Teorema do Não Almoço Gratuito, afirmando que você não pode simplesmente ignorar as suposições de um teste estatístico e dizer que você o levará em consideração. conta ao avaliar os resultados.


4
Por que você não faz "secretamente" uma ANOVA de medidas repetidas?
Horst Grünbusch

1
@ HorstGrünbusch Na verdade, os dados e testes foram discutidos no fórum antes, com perguntas específicas sobre medidas repetidas ANOVA, e acontece que um modelo linear de efeitos mistos é provavelmente a melhor escolha.
Rwjones

2
Isso já está bem respondido, portanto, uma resposta mais irreverente pode ser adicionada. Você pode perguntar ao seu chefe exatamente como ele levaria em conta as consequências de violar as suposições ("ser cauteloso" seria melhor do que nada!). Em resumo, é um caminho longo e difícil de obter compreensão e experiência suficientes para saber quando você pode ser descuidado com as suposições. A Beyond ANOVA de Rupert G. Miller (Nova York: Wiley, 1986 e posteriores reimpressões) é uma boa fonte das consequências e um tema importante é que ignorar as suposições de independência é uma das coisas mais perigosas que você pode fazer.
Nick Cox

1
@NickCox Bem, ela não é mais minha chefe, e essa situação em particular é a principal razão disso. Foi basicamente o culminar de um monte de pensamento desleixado e gerenciamento de projetos desleixado da parte dela em um ambiente de pesquisa decente. Além disso, obrigado pela recomendação do livro. Pelo que parece, é uma das coisas que procuro citar no meu relatório final.
Rwjones

Respostas:


11

Não conheço uma prova, mas aposto que isso se aplica de maneira geral. Um exemplo é um experimento com 2 indivíduos em cada um dos 2 grupos de tratamento. O teste de Wilcoxon não pode ser significativo no nível 0,05, mas o teste t pode. Você poderia dizer que seu poder vem mais da metade de suas suposições e não apenas dos dados. Para o seu problema original, não é apropriado proceder como se as observações por sujeito fossem independentes. Levar as coisas em consideração após o fato certamente não é uma boa prática estatística, exceto em circunstâncias muito especiais (por exemplo, estimadores sanduíche de cluster).


2

Você pode citar o Teorema Sem Almoço Gratuito, se quiser, mas também pode citar o Modus Ponens (também conhecido como Lei do Desapego , a base do raciocínio dedutivo), que é a raiz do Teorema Sem Almoço Gratuito .

O Teorema Sem Almoço Gratuito engloba uma idéia mais específica: o fato de que não há algoritmo capaz de atender a todos os propósitos. Em outras palavras, o Teorema Sem Almoço Gratuito está basicamente dizendo que não existe uma bala mágica algorítmica . Isso se baseia no Modus Ponens, porque, para que um algoritmo ou um teste estatístico dê o resultado correto, você precisa satisfazer as premissas.

Assim como em todos os teoremas matemáticos, se você violar as premissas, o teste estatístico fica sem sentido e você não pode derivar nenhuma verdade disso. Portanto, se você deseja explicar seus dados usando seu teste, deve presumir que as premissas necessárias são atendidas, se não forem (e você sabe disso), seu teste estará totalmente errado.

Isso ocorre porque o raciocínio científico se baseia na dedução: basicamente, seu teste / lei / teorema é uma regra de implicação , que diz que se você tem a premissa A, pode concluir B: A=>Bmas, se não tiver A, poderá ter Bou não B, e ambos os casos são verdadeiros , esse é um dos princípios básicos da inferência / dedução lógica (regra do Modus Ponens). Em outras palavras, se você violar as premissas, o resultado não importa e você não pode deduzir nada .

Lembre-se da tabela binária de implicação:

A   B   A=>B
F   F    T
F   T    T
T   F    F
T   T    T

Então, no seu caso, para simplificar, você tem Dependent_Variables => ANOVA_correct. Agora, se você usar variáveis ​​independentes, assim Dependent_Variablesserá False, a implicação será verdadeira, pois a Dependent_Variablessuposição é violada.

É claro que isso é simplista e, na prática, seu teste ANOVA ainda pode retornar resultados úteis, porque quase sempre existe algum grau de independência entre variáveis ​​dependentes, mas isso dá a você a idéia de por que você simplesmente não pode confiar no teste sem cumprir as premissas. .

No entanto, você também pode usar testes cujas premissas não são satisfeitas pelo original, reduzindo seu problema: relaxando explicitamente a restrição de independência, seu resultado ainda pode ser significativo, mas não garantido (porque seus resultados se aplicam ao problema reduzido, não ao problema completo, para que você não possa traduzir todos os resultados, exceto se puder provar que as restrições adicionais do novo problema não afetam seu teste e, portanto, seus resultados).

Na prática, isso geralmente é usado para modelar dados práticos, usando Naive Bayes, por exemplo, modelando variáveis dependentes (em vez de independentes) usando um modelo que assume variáveis ​​independentes e, surpreendentemente, funciona muitas vezes muito bem e, às vezes, melhor do que modelos de contabilidade para dependências . Você também pode se interessar por esta pergunta sobre como usar o ANOVA quando os dados não atendem exatamente a todas as expectativas .

Para resumir: se você pretende trabalhar com dados práticos e seu objetivo não é provar nenhum resultado científico, mas criar um sistema que funcione (por exemplo, um serviço da Web ou qualquer aplicação prática), a suposição de independência (e talvez outras premissas) pode ser descontraído, mas se você estiver tentando deduzir / provar alguma verdade geral , sempre use testes que matematicamente podem garantir (ou pelo menos com segurança e presunção) que satisfazem todas as premissas .


2
Se entendi seu argumento corretamente, você começa dizendo que nenhuma aplicação de estatística para a qual as suposições não são atendidas exatamente é válida. Se for verdade, essa é realmente uma notícia muito ruim. A maioria dos livros de econometria (para dar apenas um exemplo) gasta seu tempo explicando que está errado (resumo de uma palavra) e detalhadamente precisamente o motivo. No entanto, você parece mudar sua tática no meio e o que você está defendendo é distorcido. De alguma forma, trabalhar com os dados pode parecer bom mesmo quando é logicamente inválido. Não consigo ver uma linha clara de conselhos aqui, portanto.
Nick Cox

O ponto é: se as premissas forem violadas, você não poderá levar os resultados do teste pelo valor nominal, pois a inferência é tendenciosa. No entanto, você ainda pode experimentá-lo e, se estiver confiante e experiente o suficiente, ainda poderá obter algo disso, mas principalmente em implementações práticas nas quais, na verdade, você não se importa com o raciocínio científico (você está apenas tentando modelar os dados para algum objetivo prático, não tentando inferir alguma verdade geral bem fundamentada sobre o mundo). Portanto, minha resposta não é um "resumo de uma palavra", é apenas o caso geral (errado) versus o caso específico (pode estar ok).
gaborous

PS: Minha afirmação não se refere apenas a aplicativos estatísticos, mas a qualquer aplicação de qualquer teorema / regra / teste lógico ou matemático, isso se aplica a qualquer raciocínio usando inferência e indução. Mas estou interessado nas referências de seus livros de econometria, a outra referência que você forneceu em um comentário da pergunta do OP foi muito pertinente.
gaborous

Obrigado por adicionar comentários, mas devo dizer que não considero sua declaração especialmente clara ou bem fundamentada. Não vejo que os cientistas que trabalham (sou um deles) compreendam sua distinção entre análise de dados para raciocínio científico e para objetivos práticos. Vou deixá-lo lá, exceto para elogiar livros didáticos, como os de Jeff Wooldridge, como ensaios efetivos em que suposições são cruciais, e não, e uma grande área cinza no meio. amazon.com/Jeffrey-M.-Wooldridge/e/B001IGLWNY
Nick Cox

Obrigado pela referência. Acabei de encontrar outra pergunta em que eles mencionam um artigo que explica por que suposições ingênuas de independência ainda podem trabalhar com dados com variáveis ​​dependentes: "O artigo parece provar que bayes (ingênuos) são bons não apenas quando os recursos são independentes, mas também quando dependências de características um do outro são semelhantes / oposto entre as características" stats.stackexchange.com/a/23491/25538
gaborous
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.