Estamos exagerando a importância da suposição e avaliação do modelo em uma época em que as análises são frequentemente realizadas por leigos


54

Resumindo , quanto mais aprendo sobre estatística, menos confio em artigos publicados em meu campo; Simplesmente acredito que os pesquisadores não estão fazendo suas estatísticas suficientemente bem.


Sou leigo, por assim dizer. Sou formado em biologia, mas não tenho educação formal em estatística ou matemática. Gosto de R e frequentemente faço um esforço para ler (e entender ...) alguns dos fundamentos teóricos dos métodos que aplico ao fazer pesquisas. Não me surpreenderia se a maioria das pessoas que hoje faz análises não é formalmente treinada. Eu publiquei cerca de 20 artigos originais, alguns dos quais foram aceitos por periódicos e estatísticos reconhecidos frequentemente envolvidos no processo de revisão. Minhas análises geralmente incluem análise de sobrevivência, regressão linear, regressão logística, modelos mistos. Nunca um revisor perguntou sobre premissas, adequação ou avaliação do modelo.

Portanto, nunca me preocupei muito com suposições, ajuste e avaliação do modelo. Começo com uma hipótese, executo a regressão e depois apresento os resultados. Em alguns casos, fiz um esforço para avaliar essas coisas, mas sempre acabava com " bem, não cumpria todas as suposições, mas confio nos resultados (" conhecimento do assunto ") e eles são plausíveis, então tudo bem " e ao consultar um estatístico, eles sempre pareciam concordar.

Agora, conversei com outros estatísticos e não estatísticos (químicos, médicos e biólogos) que realizam análises eles mesmos; parece que as pessoas realmente não se preocupam muito com todas essas suposições e avaliações formais. Mas aqui no CV, há uma abundância de pessoas perguntando sobre resíduos, ajuste do modelo, maneiras de avaliá-lo, autovalores, vetores e a lista continua. Deixe-me colocar desta maneira, quando o lme4 avisa sobre grandes valores próprios, duvido muito que muitos de seus usuários se importem em resolver isso ...

Vale a pena o esforço extra? Não é provável que a maioria de todos os resultados publicados não respeite essas suposições e talvez nem sequer as tenha avaliado? Provavelmente, esse é um problema crescente, uma vez que os bancos de dados aumentam a cada dia e existe a noção de que quanto maiores os dados, menos importantes são as suposições e avaliações.

Eu poderia estar absolutamente errado, mas é assim que eu percebi isso.

Atualização: Citação emprestada do StasK (abaixo): http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509


34
Gostaria de advertir que o fechamento desta questão encerraria uma importante oportunidade de discutir como as estatísticas estão sendo usadas no "mundo real" fora dos muros dos departamentos de estatística. O CV é um dos poucos locais onde as pessoas e estatísticos do mundo real se misturam, e manter as linhas de comunicação abertas é uma missão importante, embora implícita, do CV. Concordo inteiramente com aqueles que clicaram em "fechar", pois isso é muito amplo e baseado em opiniões, mas ainda espero que possamos manter essa discussão.
StasK

5
O fato de muitas publicações, pesquisadores ou mesmo campos inteiros tratarem suposições casualmente sugere que não nos importamos o suficiente ? Também é possível que estatísticos e livros didáticos exagerem sua importância, mas certamente sua popularidade entre praticantes e leigos não pode ser o critério para isso. Também convenções e padrões variam bastante. Algumas disciplinas provavelmente se preocupam mais com isso do que as que você conhece, enquanto outras provavelmente não se importam muito com coisas que são muito importantes para serem publicadas em seu campo.
Gala

6
Depois de escrever um artigo de comentário criticando um estudo anterior em que as premissas do modelo foram conscientemente violadas e tiradas conclusões incorretas, meu conselho seria não confiar nos resultados e ser autocrítico possível.
Dikran Marsupial

7
"Quanto maiores os dados, menos importantes são as premissas" não se mantém com o crescimento real dos dados: o que cresce é (principalmente) o número de observações / características dependentes devido a avanços nas técnicas de medição. Em contraste, o número de observações independentes, ou seja, unidades experimentais ou probandos, permanece bastante limitado (como as populações não aumentam por avanços técnicos ...). Infelizmente, apenas a independência do big data wrt torna as suposições (geralmente, nem sempre) menos importantes devido ao teorema do limite central.
Horst Grünbusch

3
@ AdamRobinsson: Gosto da conclusão que você postou na parte superior da sua pergunta. Eu ficaria ainda mais cauteloso com artigos publicados por Big Names ou apoiados por Big Institutions. Quando vejo trabalhos com 15 autores seniores de instituições respeitadas em periódicos de primeira linha, meu primeiro instinto é realmente examinar o artigo ainda mais , porque existe a possibilidade de o artigo ter sido publicado devido à influência dos autores / instituições. Esses documentos também tendem a ter implicações políticas de longo alcance. Um exemplo do meu campo (saúde pública) foram a circuncisão masculina para estudos de prevenção do HIV (cont.)
Marquês de Carabas

Respostas:


26

Sou treinado como estatístico, não como biólogo ou médico. Mas faço bastante pesquisa médica (trabalhando com biólogos e médicos). Como parte da minha pesquisa, aprendi bastante sobre o tratamento de várias doenças diferentes. Isso significa que, se um amigo me perguntar sobre uma doença que eu pesquisei, posso escrever uma receita para um medicamento que eu sei que é comumente usado para essa doença em particular? Se eu fizesse isso (não faço), em muitos casos, provavelmente funcionaria bem (já que um médico apenas prescreveria o mesmo medicamento), mas sempre há a possibilidade de que eles tenham alergia / medicamento interação / outra que um médico saberia perguntar, que eu não faço e acabo causando muito mais mal do que bem.

Se você está fazendo estatística sem entender o que está assumindo e o que pode dar errado (ou consultando um estatístico ao longo do caminho que procurará essas coisas), então está praticando a negligência estatística. Na maioria das vezes, provavelmente tudo ficará bem, mas e a ocasião em que uma suposição importante não se mantém, mas você a ignora?

Eu trabalho com alguns médicos que são razoavelmente competentes estatisticamente e podem fazer muitas de suas próprias análises, mas eles ainda passam por mim. Freqüentemente, confirmo que eles fizeram a coisa correta e que eles mesmos podem fazer a análise (e geralmente são gratos pela confirmação), mas ocasionalmente farão algo mais complexo e, quando mencionei uma abordagem melhor, eles geralmente reverterão a análise. para mim ou minha equipe, ou pelo menos me traga para um papel mais ativo.

Portanto, minha resposta à sua pergunta do título é "Não", não estamos exagerando, pelo contrário, devemos enfatizar algumas coisas mais para que os leigos tenham maior probabilidade de, pelo menos, verificar novamente seus procedimentos / resultados com um estatístico.

Editar

Esta é uma adição baseada no comentário de Adam abaixo (será um pouco longo para outro comentário).

Adam, obrigado pelo seu comentário. A resposta curta é "eu não sei". Penso que estão sendo feitos progressos na melhoria da qualidade estatística dos artigos, mas as coisas mudaram tão rapidamente de muitas maneiras diferentes que levará um tempo para recuperar o atraso e garantir a qualidade. Parte da solução está focada nas suposições e nas consequências das violações nos cursos de introdução às estatísticas. É mais provável que isso aconteça quando as aulas são ministradas por estatísticos, mas precisa acontecer em todas as aulas.

Algumas revistas estão se saindo melhor, mas eu gostaria que um revisor estatístico específico se tornasse o padrão. Houve um artigo alguns anos atrás (desculpe, não tenha a referência à mão, mas foi no JAMA ou no New England Journal of Medicine) que mostrou uma maior probabilidade de ser publicado (embora não seja tão grande a diferença quanto deveria ser) no JAMA ou NEJM se um bioestatístico ou epidemiologista foi um dos co-autores.

Um artigo interessante publicado recentemente é: http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412, que discute alguns dos mesmos problemas.


11
Partilho o seu ponto de vista, Greg. Eu acho que sua resposta explica isso claramente. Mas eu gostaria de citar: "[...] então você pratica a malversação estatística. Na maioria das vezes, provavelmente estará tudo bem". Existe o risco de que essa noção esteja se espalhando e que as pessoas a percebam como: qualquer um pode fazer estatística (o que é fundamentalmente errado se você me perguntar, que arranhou um pouco a superfície das estatísticas). A questão é: como podemos garantir que o trabalho publicado seja correto em termos de análises estatísticas? Porque eu estou começando a me perguntar quantos artigos lá fora, que não passaram um estatístico ...
Adam Robinsson

@AdamRobinsson, veja minha adição acima.
Greg Snow

Isso é bastante elitista. Concordo que estatísticos profissionais podem ter competência e conhecimento para realizar análises estatísticas, mas também os cientistas. De fato, alguns dos avanços inovadores nas estatísticas vieram de cientistas (por exemplo, Fisher e Jeffrey) praticando estatísticas no mundo real.
innisfree

Também é estranho dizer que o que constitui negligência estatística depende não apenas da qualidade ou dos resultados da análise estatística, mas também de julgamentos subjetivos sobre a força do entendimento que os analistas têm de estatística
innisfree

@innisfree, eu não entendo seus comentários, ou talvez você não entenda minha posição. Não estou dizendo que apenas estatísticos podem analisar as suposições / condições, apenas que são importantes e que um estatístico deve ser consultado ou o (s) cientista (s) não estatístico (ais) devem aprender estatísticas suficientes para entender as questões além de apenas ligar os números em uma fórmula / computador. Pessoalmente, eu gostaria de ver muito mais estatísticas menores com experiência em medicina / engenharia / etc., Mas também com uma melhor compreensão das idéias por trás das estatísticas.
Greg Snow

28

Bem, sim, as suposições importam - se elas não importassem, não precisaríamos fazê-las, não é?

A questão é o quanto eles importam - isso varia de acordo com procedimentos e suposições e o que você deseja reivindicar sobre seus resultados (e também quão tolerante é o seu público em relação à aproximação - até imprecisão - de tais alegações).

Portanto, para um exemplo de situação em que uma suposição é crítica, considere a suposição de normalidade em um teste F de variações; mesmo mudanças bastante modestas na distribuição podem ter efeitos bastante dramáticos nas propriedades (nível de significância e poder reais) do procedimento. Se você afirma que está realizando um teste no nível de 5% quando realmente está no nível de 28%, está fazendo, de certa forma, o mesmo tipo de mentira sobre como você conduziu seus experimentos. Se você não acha que essas questões estatísticas são importantes, faça argumentos que não confiam nelas. Por outro lado, se você quiser usar as informações estatísticas como suporte, não poderá deturpar esse suporte.

Em outros casos, determinadas suposições podem ser muito menos críticas. Se você está estimando o coeficiente em uma regressão linear e não se importa se é estatisticamente significativo e não se preocupa com eficiência, bem, isso não importa necessariamente se a suposição de homosquasticidade é válida. Mas se você quiser dizer que é estatisticamente significativo ou mostrar um intervalo de confiança, sim, isso certamente pode importar.


2
O comentário de Glen_b é bem dito a partir da abordagem estatística da importância das suposições. Penso, também, que também deve ser observado que, para fins de publicação, a verificação de premissas é uma questão um pouco diferente, pois a violação das premissas é importante tanto quanto os revisores ou editores se importam. Como exemplo, a teoria por trás do resultado pode fornecer mérito suficiente para publicação, onde a esperança é que os problemas com a análise possam ser resolvidos em futuras publicações.
Jonathan Lisic

Bem, mesmo que os revisores verifiquem o artigo, a responsabilidade por erros fica com os autores. Assim, no próprio interesse, você deve verificar ...
b Kjetil Halvorsen

De fato, a responsabilidade sempre ficará com os autores. Atualmente, os autores são pressionados por motoristas inapropriados que os obriga a publicar, não raramente de maneira rápida e suja. Eu gostaria de ver um processo de revisão que exija a declaração das suposições estatísticas mais críticas. Hoje, é dado como certo que a análise estatística foi feita de acordo com o livro, mas acredito que seja mais raro do que comum.
Adam Robinsson

3
+1 "A questão é o quanto eles importam" - isso essencialmente coloca toda a questão em poucas palavras. Devo também salientar que, na aplicação da inferência estatística, não é possível saber até que ponto certas suposições estatísticas são violadas. Só podemos postular ou considerar a robustez da análise, se houver, e esse é um aspecto essencial, mas muitas vezes esquecido, da prática estatística.
Heropup

18

Enquanto Glen_b deu uma ótima resposta , gostaria de acrescentar alguns centavos a isso.

Uma consideração é se você realmente deseja obter a verdade científica, o que exigiria polir seus resultados e descobrir todos os detalhes sobre se sua abordagem é defensável, em comparação com a publicação no "ah, bem, ninguém verifica esses valores próprios na minha disciplina de qualquer maneira" modo. Em outras palavras, você teria que perguntar à sua consciência profissional interior se está fazendo o melhor trabalho possível. Referir-se à baixa alfabetização estatística e às práticas estatísticas laxistas em sua disciplina não é um argumento convincente. Os revisores costumam ser, na melhor das hipóteses, meio úteis se vierem da mesma disciplina com esses padrões negligentes, embora algumas empresas de ponta tenham iniciativas explícitas para trazer conhecimento estatístico ao processo de revisão.

Mas mesmo se você é um fatiador de salame cínico "publique ou pereça", a outra consideração é basicamente a segurança da reputação da sua pesquisa. Se o seu modelo falhar e você não o conhecer, estará se expondo ao risco de refutação por aqueles que podem vir e enfiar o machado nas fendas das verificações do modelo com instrumentos mais refinados. É verdade que a possibilidade disso parece baixa, pois a comunidade científica, apesar dos requisitos filosóficos nominais de reputação e reprodutibilidade, raramente se engaja nas tentativas de reproduzir a pesquisa de outra pessoa. (Eu estava envolvido em escrever alguns artigos que basicamente começaram com "oh meu Deus, eles realmenteescreva isso? ", e ofereceu uma crítica e um aprimoramento de uma abordagem semi-estatística publicada por pares.) No entanto, as falhas nas análises estatísticas, quando expostas , geralmente produzem salpicos grandes e desagradáveis.


Gosto muito da abordagem: consciência profissional e acredito que muitos têm consciência, mas ainda não possuem o conhecimento; mas isso não os impedirá de apresentar dados como se fossem perfeitamente feitos. Curiosamente, você está citando um artigo da Science que explica claramente: "[...] a preocupação generalizada de que erros básicos na análise de dados estão contribuindo para a irreprodutibilidade de muitas descobertas de pesquisas publicadas". Eu realmente acho que nós, leigos, não respeitamos realmente a dificuldade dos métodos estatísticos e isso deve ser um problema crescente, como explicado acima.
Adam Robinsson

11
No meu grupo de pesquisa atual, somos 15 pesquisadores (biólogos, médicos) e alguns deles são realmente produtivos, mas nenhum é estatístico. Todos os pesquisadores iniciantes instalaram o R ou SAS e realizam cálculos, normalmente após a leitura de apenas alguns tutoriais na Internet. Este é um grande problema.
Adam Robinsson

4
@ AdamRobinsson, o simples fato de você ter perguntado sobre isso no CV fala sobre sua consciência. Mais um link da Nature para você ler sobre uma questão um pouco relacionada à computação científica (e falta de implementação das melhores práticas em desenvolvimento de software por cientistas que escrevem seu próprio código C / Fortran / R) - nature.com/news/2010 /101013/full/467775a.html .
StasK

3
como a comunidade científica, apesar dos requisitos filosóficos nominais de reputação e reprodutibilidade, raramente se empenha em tentar reproduzir a pesquisa de outra pessoa, eu concordo completamente com essa afirmação.
Robert Smith

software-carpentry.org , "uma organização voluntária sem fins lucrativos dedicada ao ensino de habilidades básicas de computação para pesquisadores", possui ótimos tutoriais e seminários.
Denis

9

A natureza das violações de suposições pode ser uma pista importante para pesquisas futuras. Por exemplo, uma violação do pressuposto de riscos proporcionais na análise de sobrevivência de Cox pode ser devida a uma variável com um grande efeito na sobrevivência a curto prazo, mas pouco efeito no longo prazo. Esse é o tipo de informação inesperada, mas potencialmente importante que você pode obter examinando a validade de suas suposições em um teste estatístico.

Então você faz a si mesmo, não apenas a literatura, um possível desserviço se não testar as suposições subjacentes. Quando os periódicos de alta qualidade começarem a exigir uma revisão estatística mais sofisticada, você será chamado com mais frequência a fazê-lo. Você não quer estar em uma posição em que um teste exigido por um revisor estatístico mina o que você pensou ter sido um ponto-chave do seu trabalho.


Concordo plenamente com este comentário, que considero muito importante.
Adam Robinsson

9

Vou responder de uma perspectiva intermediária. Não sou estatístico, sou químico. No entanto, passei os últimos 10 anos me especializando em quimiometria = análise de dados estatísticos para dados relacionados à química.

Simplesmente acredito que os pesquisadores não estão fazendo suas estatísticas suficientemente bem.

Provavelmente é esse o caso.


Versão curta:

Agora sobre as suposições. IMHO a situação aqui é muito heterogênea para lidar com isso em uma declaração. A compreensão de para que exatamente a suposição é necessária e de que maneira é provável que ela seja violada pelo aplicativo é necessária para julgar se a violação é inofensiva ou crítica. E isso precisa tanto das estatísticas quanto do conhecimento do aplicativo.
Como praticante que enfrenta suposições inatingíveis, no entanto, também preciso de outra coisa: eu gostaria de ter uma "segunda linha de defesa" que, por exemplo, me permita julgar se a violação está realmente causando problemas ou se é inofensiva.


Versão longa:

  • Do ponto de vista prático, algumas suposições típicas quase nunca são atendidas. Às vezes, posso formular suposições sensatas sobre os dados, mas muitas vezes os problemas se tornam tão complicados do ponto de vista estatístico que as soluções ainda não são conhecidas. A essa altura, acredito que fazer ciência significa que você atingirá as fronteiras do que é conhecido provavelmente não apenas em sua disciplina específica, mas talvez também em outras disciplinas (aqui: estatística aplicada).

  • Existem outras situações em que certas violações costumam ser inofensivas - por exemplo, a normalidade multivariada com covariância igual para o LDA é necessária para mostrar que o LDA é ideal, mas é sabido que a projeção segue uma heurística que geralmente também apresenta bom desempenho se a suposição não é cumprida. E quais violações provavelmente causarão problemas: também se sabe que caudas pesadas na distribuição levam a problemas com a LDA na prática.
    Infelizmente, esse conhecimento raramente faz parte da escrita condensada de um artigo, de modo que o leitor não tem idéia se os autores decidiram por seu modelo depois de considerarem bem as propriedades da aplicação e do modelo ou se apenas escolheram qualquer modelo eles se depararam.

  • Às vezes, abordagens práticas (heurísticas) evoluem que acabam sendo muito úteis do ponto de vista prático, mesmo que demore décadas até que suas propriedades estatísticas sejam entendidas (estou pensando em PLS).

  • A outra coisa que acontece (e deve acontecer mais) é que as possíveis consequências da violação possam ser monitoradas (medidas), o que permite decidir se há um problema ou não. Para o aplicativo, talvez eu não me importe se meu modelo é ótimo, desde que seja suficientemente bom.
    Em quimiometria, temos um foco bastante forte na previsão. E isso oferece uma boa fuga caso as suposições da modelagem não sejam atendidas: independentemente dessas suposições, podemos medir se o modelo funciona bem. Do ponto de vista de um praticante, eu diria que você pode fazer o que quiser durante a modelagem, se fizer e reportar uma validação honesta do estado da arte.
    Para análise quimiométrica de dados espectroscópicos, chegamos a um ponto em que não observamos resíduos, porque sabemos que os modelos são facilmente super adequados. Em vez disso, analisamos o desempenho dos dados de teste (e possivelmente a diferença em treinar o desempenho preditivo de dados).

  • Existem outras situações em que, embora não possamos predizer com precisão quanta violação de qual suposição leva a um colapso do modelo, podemos medir as conseqüências de violações graves da suposição diretamente.
    Próximo exemplo: os dados do estudo com os quais eu lida normalmente são ordens de magnitude abaixo do tamanho da amostra que as regras práticas recomendam para casos por variável (a fim de garantir estimativas estáveis). Mas os livros de estatística normalmente não se importam muito com o que fazer na prática se essa suposição não puder ser atendida. Nem como medir se você realmente está com problemas a esse respeito. Mas: essas questões são tratadas nas disciplinas mais aplicadas. Acontece que muitas vezes é muito fácil medir diretamente a estabilidade do modelo ou pelo menos se suas previsões são instáveis ​​(leia aqui no CV sobre validação de reamostragem e estabilidade do modelo). E existem maneiras de estabilizar modelos instáveis ​​(por exemplo, ensacamento).

  • Como exemplo da "segunda linha de defesa", considere a validação de reamostragem. A suposição usual e mais forte é que todos os modelos substitutos são equivalentes a um modelo treinado em todo o conjunto de dados. Se essa suposição for violada, obtemos o conhecido viés pessimista. A segunda linha é que pelo menos os modelos substitutos são equivalentes entre si, para que possamos reunir os resultados do teste.


Por último, mas não menos importante, gostaria de incentivar os "cientistas clientes" e os estatísticos a falarem mais uns com os outros . A análise estatística dos dados IMHO não é algo que pode ser feito de maneira unidirecional. Em algum momento, cada lado precisará adquirir algum conhecimento do outro lado. Às vezes ajudo a "traduzir" entre estatísticos, químicos e biólogos. Um estatístico pode saber que o modelo precisa de regularização. Mas para escolher, digamos, entre o LASSO e uma cordilheira, eles precisam conhecer as propriedades dos dados que somente o químico, o físico ou o biólogo podem conhecer.


6

Dado que o currículo é preenchido por estatísticos e pessoas curiosas, se não competentes, sobre estatísticas, não me surpreendo com todas as respostas que enfatizam a necessidade de entender as suposições. Eu também concordo com essas respostas em princípio.

No entanto, ao considerar a pressão para publicar e o baixo padrão de integridade estatística atualmente, devo dizer que essas respostas são bastante ingênuas. Podemos dizer às pessoas o que elas devem fazer o dia todo (por exemplo, verifique sua suposição), mas o que elas farão depende apenas dos incentivos institucionais. O próprio OP afirma que ele consegue publicar 20 artigos sem entender a suposição do modelo. Dada a minha própria experiência, não acho difícil de acreditar.

Assim, eu quero bancar o advogado do diabo, respondendo diretamente à pergunta do OP. Essa não é de forma alguma uma resposta que promova "boas práticas", mas é uma que reflete como as coisas são praticadas com uma pitada de sátira.

Vale a pena o esforço extra?

Não, se o objetivo é publicar, não vale a pena gastar todo o tempo compreendendo o modelo. Basta seguir o modelo predominante na literatura. Dessa forma, 1) seu trabalho passará por revisões com mais facilidade e 2) o risco de ser exposto à "incompetência estatística" é pequeno, porque expor você significa expor todo o campo, incluindo muitas pessoas idosas.

Não é provável que a maioria de todos os resultados publicados não respeite essas suposições e talvez nem sequer as tenha avaliado? Provavelmente, esse é um problema crescente, uma vez que os bancos de dados aumentam a cada dia e existe a noção de que quanto maiores os dados, menos importantes são as suposições e avaliações.

Sim, é provável que a maioria dos resultados publicados não seja verdadeira. Quanto mais envolvido estou em pesquisas reais, mais acho provável.


11
Eu acho que você está tendo alguns pontos muito bons que não são mencionados acima; ou seja, a pressão para publicar e as revistas pressionam para encontrar artigos para preencher a revista. É um pesadelo para os editores não terem artigos para publicar, e os pesquisadores devem publicar por sua mera existência. No entanto, de um ponto de vista metodológico, quanto mais me envolvo em pesquisas, mais acredito que a maioria das descobertas publicadas são erradas / menos corretas / imperfeitas em um grau variável (do ponto de vista estatístico).
Adam Robinsson

4

A resposta curta é não." Os métodos estatísticos foram desenvolvidos sob conjuntos de suposições que devem ser atendidas para que os resultados sejam válidos. É lógico, então, que, se as suposições não forem atendidas, os resultados poderão não ser válidos. Obviamente, algumas estimativas ainda podem ser robustas, apesar das violações das premissas do modelo. Por exemplo, o logit multinomial parece ter um bom desempenho, apesar das violações da premissa do IIA (consulte a dissertação de Kropko [2011] na referência abaixo).

Como cientistas, temos a obrigação de garantir que os resultados apresentados sejam válidos, mesmo que as pessoas no campo não se importem se as suposições foram cumpridas. Isso ocorre porque a ciência se baseia no pressuposto de que os cientistas farão as coisas da maneira certa em sua busca pelos fatos. Confiamos em nossos colegas para verificar seu trabalho antes de enviá-lo para os periódicos. Nós confiar em que os árbitros de rever competentemente um manuscrito antes que ele seja publicado. Nós assumimosque os pesquisadores e os árbitros saibam o que estão fazendo, para que os resultados de trabalhos publicados em revistas especializadas sejam confiáveis. Sabemos que isso nem sempre é verdade no mundo real, com base na enorme quantidade de artigos na literatura em que você acaba balançando a cabeça e revirando os olhos para os resultados obviamente escolhidos pela cereja em periódicos respeitáveis ​​(" Jama publicou este artigo ?! ").

Portanto, não, a importância não pode ser exagerada, especialmente porque as pessoas confiam em você - o especialista - para fazer sua diligência. O mínimo que você pode fazer é falar sobre essas violações na seção "limitações" do seu artigo para ajudar as pessoas a interpretar a validade dos seus resultados.

Referência

Kropko, J. 2011. Novas abordagens para a escolha discreta e a metodologia de seção transversal de séries temporais para pesquisa política (dissertação). UNC-Chapel Hill, Chapel Hill, NC.


Eu concordo com esses comentários valiosos. Mas você não acha que o "pode" em "pode ​​não ser inválido" é a razão pela qual as pessoas podem não se preocupar muito com elas. Acredito que a mera existência de uma hipótese possa induzir um viés de análise relevante para essa questão.
Adam Robinsson

TIL Kropko é um usuário de CV.
Reintegrar Monica

@ AdamRobinsson, acho que as pessoas não se importam com elas porque não entendem completamente como ou por que os resultados podem ser inválidos. Grande parte do problema está no ensino de estatística em um campo "aplicado". Meu próprio treinamento é em um campo aplicado. Minhas aulas de econometria lite não pretendiam ser aulas de econometria completas e eram chamadas de "métodos avançados de pesquisa" ou algo assim. Como não havia pré-requisitos estatísticos, os profs encobririam as suposições do modelo em favor de gastar mais tempo nos comandos Stata e na interpretação dos resultados.
Marquis de Carabas

@AdamRobinsson, A primeira vez que estive em um programa de pós-graduação, também era para um campo aplicado, mas as aulas eram ministradas por bioestatísticos. Os bioestatísticos ensinaram em profundidade as suposições dos modelos e as várias verificações que devemos fazer, porque alguns dos alunos da turma eram estudantes de bioestatística. No entanto, ficou claro que o restante dos alunos que estavam nessas aulas não entendeu por que estávamos verificando essas suposições, porque os professores não comunicaram a importância em um idioma que os alunos entendiam.
Marquis de Carabas

11
@marquisdecarabas, concordou. Não compreendê-los é uma questão fundamental, obviamente. No entanto, às vezes me pergunto se não foi devido à imensa quantidade de tempo gasto na manipulação de dados, que drena o desejo de assumir as suposições.
Adam Robinsson

2

Se você precisa de estatísticas muito avançadas, é mais provável que seus dados estejam uma bagunça, como é o caso da maioria das ciências sociais, sem mencionar a psicologia. Nos campos em que você tem bons dados, você precisa de muito poucas estatísticas. A física é um exemplo muito bom.

Considere esta citação de Galileu em seu famoso experimento de aceleração gravitacional:

Um pedaço de madeira moldada ou escamosa, com cerca de 12 côvados de comprimento, meio côvado de largura e três dedos de largura de espessura, foi tomada; em sua borda havia um canal com pouco mais de um dedo de largura; Tendo tornado esse sulco muito reto, liso e polido, e revestido de pergaminho, também o mais liso e polido possível, rolamos ao longo uma bola de bronze dura, suave e muito redonda. Tendo colocado este tabuleiro em uma posição inclinada, elevando uma ponta a um ou dois côvados acima da outra, rolamos a bola, como eu estava dizendo, ao longo do canal, observando, de uma maneira atualmente descrita, o tempo necessário fazer a descida. Repetimos esse experimento mais de uma vez para medir o tempo com precisão, de modo que o desvio entre duas observações nunca excedesse um décimo de uma pulsação. Tendo realizado essa operação e garantido sua confiabilidade, agora rolamos a bola apenas um quarto do comprimento do canal; e tendo medido o tempo de sua descida, achamos precisamente metade da primeira. Em seguida, tentamos outras distâncias, comparando o tempo de toda a extensão com o da metade, ou com o de dois terços, ou três quartos, ou mesmo com qualquer fração; em tais experimentos, repetidos centenas de vezes, sempre descobrimos que os espaços percorridos eram um para o outro como os quadrados dos tempos, e isso era verdade para todas as inclinações do plano, isto é, do canal ao longo do qual rolamos o bola. Também observamos que os tempos de descida, para várias inclinações do avião, se conformavam precisamente àquela proporção que, como veremos mais adiante,

Para medir o tempo, empregamos um grande vaso de água colocado em uma posição elevada; ao fundo deste navio, foi soldado um cano de pequeno diâmetro, produzindo um jato fino de água que coletamos em um copo pequeno durante o tempo de cada descida, seja por todo o comprimento do canal ou por parte de seu comprimento; a água assim coletada era pesada, após cada descida, em uma balança muito precisa; as diferenças e proporções desses pesos nos deram as diferenças e proporções dos tempos, e isso com tanta precisão que, embora a operação tenha sido repetida muitas e muitas vezes, não houve discrepância significativa nos resultados .

Observe o texto destacado por mim. É isso que são bons dados. Vem de um experimento bem planejado, baseado em uma boa teoria. Você não precisa de estatísticas para extrair o que lhe interessa. Não havia estatísticas naquele momento, nem computadores. O resultado? Uma relação bastante fundamental, que ainda se mantém, e pode ser testada em casa por um aluno da 6ª série.

Eu roubei a citação desta página incrível .

χ2


2
"Nos campos em que você tem bons dados, você precisa de muito pouca estatística. A física é um exemplo muito bom." Percebo o ponto, mas vale ressaltar que os físicos de partículas têm uma abundância de dados e desenvolveram toda uma gama de técnicas estatísticas avançadas para analisá-las.
Silverfish

@ Silverfish, você pode me dar um exemplo de estatísticas avançadas lá? O que eu vi não me impressionou muito. Um estudante de doutorado econômico economista saberá mais estatísticas do que o físico de partículas de classe mundial, na minha opinião. O que os físicos realmente são bons é em mecânica estatística, mas isso é muito diferente do que chamaríamos de "estatísticas avançadas". Eu concordo totalmente com você que seus conjuntos de dados são incompreensíveis, eles começaram o big data antes que "big data" se tornasse uma palavra chata e irritante.
Aksakal

11
Eles têm bastante uma tomada interessante em "intervalo de confiança", particularmente para parâmetros que não pode ser negativo, ver, por exemplo en.wikipedia.org/wiki/CLs_upper_limits_%28particle_physics%29
Silverfish

(Eu acho que poderia ser injusto para tirar Dia 1 de um curso introdutório como representante de todas as estatísticas que você precisa para ser um físico de partículas!)
Silverfish

@Aksakal, meu entendimento pessoal é que os métodos bayesianos fazem maravilhas quando há pouca incerteza no modelo, ou seja, ciências exatas onde os modelos são o que a equação de Schrodinger fornece, após uma integração de 5.000 dimensões. Em economia, a abordagem bayesiana dificilmente sobreviverá, dado o foco dos pesquisadores empíricos na inferência que é robusta a possíveis erros de especificação do modelo principal. (Eu sou um físico por um curso de graduação, embora não tenha feito nenhum física em mais de 20 anos, e um cientista social quantitativa pela linha de trabalho agora.)
Stask

2

Esta questão parece ser um caso de integridade profissional.

O problema parece ser que: (a) não há avaliação crítica suficiente da análise estatística por leigos ou (b) um caso de conhecimento comum é insuficiente para identificar erro estatístico (como um erro do Tipo 2)?

Sei o suficiente sobre minha área de especialização para solicitar uma contribuição de especialistas quando estou próximo dos limites dessa especialização. Vi pessoas usarem coisas como o teste F (e o quadrado R no Excel) sem conhecimento suficiente.

Na minha experiência, os sistemas educacionais, em nosso desejo de promover estatísticas, simplificaram demais as ferramentas e subestimaram os riscos / limites. Esse é um tema comum que outros já experimentaram e explicaria a situação?

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.