Quais são os vieses mais comuns que os seres humanos fazem ao coletar ou interpretar dados?

Sou especialista em economia / estatística. Estou ciente de que os economistas tentaram modificar suas suposições sobre o comportamento humano e a racionalidade, identificando situações nas quais as pessoas não se comportam racionalmente. Por exemplo, suponha que eu ofereço a você uma chance de 100% de uma perda de US $ 1000 ou uma chance de 50% de uma perda de US $ 2500, as pessoas escolhem a opção de US $ 2500, embora o valor esperado desse último seja uma perda maior do que US $ 1000 garantidos perda. Isso é conhecido como "aversão à perda". Os economistas comportamentais agora estudam esses padrões e tentam identificar maneiras pelas quais os humanos se desviam desses axiomas normalmente assumidos como constituindo um comportamento "racional". Aqui, suponho que seja racional preferir a perda menos esperada.

Fiquei imaginando se os estatísticos identificaram padrões comuns na coleta de dados que produzem resultados tendenciosos na maneira como as pessoas interpretam os dados. Se havia essencialmente uma maneira "racional" de coletar dados, presumo que existam exemplos em que os humanos se desviam disso e exibem "preconceitos". Em caso afirmativo, quais são os preconceitos mais comuns que os humanos fazem ao coletar ou interpretar dados?

Eu acho que na academia, os valores-p são muito mal interpretados. As pessoas tendem a esquecer que o valor-p expressa uma probabilidade condicional. Mesmo que um experimento tenha sido realizado com perfeição e todos os requisitos do teste estatístico escolhido sejam atendidos, a taxa de descoberta falsa geralmente é muito maior que o nível de significância alfa. A taxa de falsas descobertas aumenta com a diminuição do poder estatístico e a prevalência de verdadeiros positivos (Colquhoun, 2014; Nuzzo, 2014).

Além disso, as pessoas tendem a considerar suas estimativas como a verdade e o parâmetro que estimam como aleatório (Haller & Kraus, 2002). Por exemplo, quando dizem que "em 95% dos casos, esse intervalo de confiança identificado cobre o parâmetro" ...

A confusão de correlação e causação provavelmente também é um erro muito comum na interpretação dos dados.

Em termos de coleta de dados, acho que um erro comum é obter a amostra mais facilmente acessível do que a mais representativa.

Colquhoun, D. (2014). Uma investigação da taxa de descoberta falsa e a interpretação incorreta dos valores de P. Royal Society Open Science, 1–15.

Nuzzo, R. (2014). Erros estatísticos: os valores de P, o "padrão ouro" da validade estatística não são tão confiáveis ​​quanto muitos cientistas supõem. Nature, 506, 150-152.

Haller, H. & Kraus, S. (2002): Interpretações de significado: um problema que os alunos compartilham com seus professores? Methods of Psychological Research Online, Vol.7, No.1

Eu diria uma incapacidade geral de apreciar como é a verdadeira aleatoriedade. As pessoas parecem esperar muito poucos padrões espúrios do que realmente ocorrem em seqüências de eventos aleatórios. Isso também aparece quando tentamos simular a aleatoriedade por conta própria.

Outro bastante comum é não entender a independência, como na falácia do jogador. Às vezes pensamos que eventos anteriores podem afetar eventos futuros, mesmo quando é claramente impossível, como o acordo anterior de um baralho de cartas embaralhado, impactando o futuro.

Já foi apontado que muitos dos comportamentos e processos de pensamento rotulados como "irracionais" ou "tendenciosos" pelos economistas (comportamentais) são realmente altamente adaptáveis ​​e eficientes no mundo real. No entanto, a pergunta do OP é interessante. Penso, no entanto, que pode ser proveitoso se referir a conhecimentos descritivos mais fundamentais sobre nossos processos cognitivos, em vez de procurar "vieses" específicos que correspondem aos discutidos na literatura econômica (por exemplo, aversão à perda, efeito de doação, negligência, etc.).

Por exemplo, avaliabilidade é certamente um problema na análise de dados. A teoria da avaliabilidade afirma que sobrepomos informações que consideramos fáceis de interpretar ou avaliar. Considere o caso de um coeficiente de regressão. Avaliar as conseqüências do mundo real de um coeficiente pode ser um trabalho árduo. Precisamos considerar as unidades da variável independente e a variável dependente, bem como as distribuições de nossa variável independente e dependente para entender se um coeficiente tem relevância prática. Avaliar a significância de um coeficiente, por outro lado, é fácil: eu apenas comparo seu valor-p ao meu nível alfa. Dada a maior capacidade de avaliação do valor-p em comparação com o coeficiente em si, não surpreende que muito seja feito com valores-p.

(A padronização aumenta a capacidade de avaliação de um coeficiente, mas pode aumentar a ambiguidade : a sensação de que informações relevantes não estão disponíveis ou são retidas, porque a forma "original" dos dados que estamos processando não está disponível para nós.)

Um "viés" cognitivo relacionado é o princípio da concretude, a tendência de sobrepor informações que estão "ali mesmo" em um contexto de decisão e não exigem recuperação da memória. (O princípio da concretude também afirma que é provável que usemos informações no formato em que são fornecidas e tendemos a evitar transformações.) A interpretação de um valor-p pode ser feita apenas olhando para a saída da regressão; não exige que eu recupere nenhum conhecimento substantivo sobre o que estou modelando.

Eu espero que muitos vieses na interpretação dos dados estatísticos possam ser rastreados no entendimento geral de que é provável que tomemos o caminho mais fácil ao resolver um problema ou formar um julgamento (consulte "avarento cognitivo", "racionalidade limitada" e assim por diante) . De maneira semelhante, fazer algo "com facilidade" geralmente aumenta a confiança com a qual mantemos as crenças resultantes ( teoria da fluência ). (Também se pode considerar a possibilidade de que dados mais fáceis de articular- para nós mesmos ou para os outros - estão acima do peso em nossas análises.) Acho que isso se torna particularmente interessante quando consideramos possíveis exceções. Algumas pesquisas psicológicas sugerem, por exemplo, que se acreditamos que um problema deve ser difícil de resolver, podemos favorecer abordagens e soluções menos concretas e mais difíceis, por exemplo, escolher um método mais arcano do que um simples.

O maior fator isolado que consigo pensar é amplamente conhecido como "viés de confirmação". Tendo decidido o que acho que meu estudo mostrará, aceito acriticamente dados que levam a essa conclusão, enquanto desculpo todos os dados que parecem refutá-lo. Inconscientemente, posso rejeitar como "erro óbvio do instrumento" (ou equivalente) quaisquer dados que não se encaixem na minha conclusão. Em alguns casos, não será tão flagrante; em vez de jogar fora esses pontos de dados inteiramente, vou inventar uma fórmula para remover o "erro", que orientará convenientemente os resultados para confirmar minha conclusão pré-determinada.

Não há nada particularmente nefasto nisso; é assim que nosso cérebro funciona. É preciso um grande esforço para filtrar esse viés, e é uma das razões pelas quais os cientistas gostam de inventar estudos duplo-cegos, para que a pessoa que realiza as medições não saiba o que o experimento deve provar. Requer, então, uma disciplina enorme para não ajustar o que ele mediu fielmente.

Linearidade .

Eu acho que um viés comum durante a interpretação / análise dos dados é que as pessoas geralmente são rápidas em assumir relações lineares. Matematicamente, um modelo de regressão assume que seu componente determinístico é uma função linear dos preditores; infelizmente isso nem sempre é verdade. Recentemente, fui a uma conferência de pós-graduação e a quantidade de tendências quadráticas ou não lineares que vi serem equipadas com um modelo linear era preocupante, para dizer o mínimo.

$p$

Um caso interessante são as discussões da falácia dos jogadores.

Os dados existentes devem ser incluídos ou excluídos? Se eu já estou à frente com 6 seis, eles devem ser incluídos na minha execução de uma dúzia de tentativas? Seja claro sobre os dados anteriores.

Quando devo mudar de números absolutos para proporções? Demora muito tempo para que a vantagem obtida durante uma sequência de vitórias iniciais retorne a zero (uma caminhada aleatória).

0,1% de um milhão de dólares pode não ser muito para uma grande empresa, mas perder US $ 1000 pode ser vida ou morte para um único operador (é por isso que os investidores querem que as pessoas 'orientadas' invistam). Ser capaz de mudar para porcentagens pode ser um viés.

Até estatísticos têm vieses.

Eu recomendaria "Thinking, Fast and Slow", de Daniel Kahneman , que explica muitos vieses cognitivos na linguagem lúcida.

Você também pode consultar " http://www.burns-stat.com/review-thinking-fast-slow-daniel-kahneman/ ", que resume alguns dos preconceitos do livro acima.

Para obter um resumo mais detalhado do capítulo, leia " https://erikreads.files.wordpress.com/2014/04/thinking-fast-and-slow-book-summary.pdf ".