Existem duas abordagens principais para entender essa questão. A primeira (e acredito que seja mais bem-sucedida) é a literatura sobre vieses cognitivos (veja este link Menos errado ).
Muito já foi escrito sobre esse tópico e seria muito presunçoso resumir aqui. Em geral, isso significa apenas que a maquinaria cognitiva com a qual os humanos são dotados através do processo evolutivo emprega muitas heurísticas e atalhos para tomar decisões de sobrevivência com mais eficiência. Essas decisões de sobrevivência se aplicam principalmente a ambientes ancestrais que raramente enfrentamos e, portanto, a frequência com que enfrentamos os cenários em que nossas heurísticas falham pode aumentar.
Os seres humanos, por exemplo, são ótimos em gerar crenças. Se postular uma nova crença custa muito pouco, mas deixar de empregar uma crença que levaria à sobrevivência tem um custo alto (mesmo que a crença esteja incorreta em geral), então seria de esperar muita racionalização e poucas barreiras de evidência para acreditar proposições (que é o que vemos nos seres humanos). Você também obtém comportamentos como correspondência de probabilidade por razões semelhantes.
Poder-se-ia continuar descrevendo detalhadamente todas as maneiras fascinantes de nos desviarmos da tomada de decisão ideal. Confira o livro recente de Kahneman Thinking, Fast and Slow e o livro de Dan Ariely, Predictably Irrational, para contas populares e legíveis com muitos exemplos. Eu recomendo a leitura de algumas das seqüências no LessWrong para uma discussão mais fundamentada sobre o viés cognitivo, e muitas análises interessantes da literatura acadêmica sobre as etapas que podemos tomar para evitar esses vieses em determinadas circunstâncias.
A outra abordagem para esse problema é (eu acho) muito mais tênue. Essa é a noção de que a probabilidade não é a teoria normativa correta para lidar com a incerteza. Não tenho tempo para anotar algumas fontes para isso agora, mas atualizarei minha resposta mais tarde com alguma discussão sobre essa visão.