Taleb e o cisne negro

O livro de Taleb, "O Cisne Negro", foi um best-seller do New York Times quando foi lançado há vários anos. O livro está agora em sua segunda edição. Depois de se encontrar com estatísticos em uma JSM (uma conferência anual de estatística), Taleb atenuou um pouco suas críticas às estatísticas. Mas o ponto principal do livro é que a estatística não é muito útil porque se baseia na distribuição normal e em eventos muito raros: "Os cisnes negros" não têm distribuições normais.

Você acha que isso é uma crítica válida? O Taleb está faltando alguns aspectos importantes da modelagem estatística? Eventos raros podem ser previstos pelo menos no sentido de que as probabilidades de ocorrência podem ser estimadas?

Eu li o Cisne Negro há alguns anos atrás. A idéia do Cisne Negro é boa e o ataque à falácia lúdica (ver as coisas como se fossem jogos de dados, com probabilidades conhecidas) é bom, mas as estatísticas são escandalosamente deturpadas, com o problema central sendo a alegação errada de que todas as estatísticas desmoronam se as variáveis normalmente não são distribuídos. Fiquei suficientemente irritado com esse aspecto ao escrever a carta a Taleb abaixo:

Dear Dr Taleb

Li recentemente "O Cisne Negro". Como você, sou fã de Karl Popper e me vi concordando com muito do que está nele. Penso que a sua exposição da falácia lúdica é basicamente sólida e chama a atenção para um problema real e comum. No entanto, acho que grande parte da Parte III decepciona muito seu argumento geral, mesmo a ponto de possivelmente desacreditar o restante do livro. É uma pena, pois acho que os argumentos em relação aos Cisnes Negros e às "incógnitas desconhecidas" mantêm seus méritos sem depender de alguns dos erros da Parte III.

A principal questão que desejo apontar - e buscar sua resposta, principalmente se eu entendi mal as questões - é a sua deturpação do campo das estatísticas aplicadas. Na minha opinião, os capítulos 14, 15 e 16 dependem em grande parte de um argumento de homem de palha, deturpando estatísticas e econometria. O campo da econometria que você descreve não é o que me ensinaram quando estudei estatística aplicada, econometria e teoria de risco atuarial (na Universidade Nacional da Austrália, mas usando textos que pareciam bastante comuns). As questões que você levanta (como as limitações das distribuições gaussianas) são bem e verdadeiramente compreendidas e ensinadas, mesmo no nível de graduação.

Por exemplo, você se esforça para mostrar como a distribuição de renda não segue uma distribuição normal e a apresenta como argumento contra a prática estatística em geral. Nenhum estatístico competente jamais diria que sim, e as formas de lidar com esse problema estão bem estabelecidas. Apenas o uso de técnicas do nível mais básico da "economia do primeiro ano", por exemplo, transformar a variável usando seu logaritmo faria seus exemplos numéricos parecerem muito menos convincentes. Essa transformação de fato invalidaria muito do que você diz, porque a variação da variável original aumenta à medida que sua média aumenta.

Estou certo de que existem econometristas incompetentes que fazem regressões OLS, etc. com uma variável de resposta não transformada, como você diz, mas isso apenas os torna incompetentes e usam técnicas bem estabelecidas para serem inapropriadas. Eles certamente teriam sido reprovados mesmo nos cursos de graduação, que passam muito tempo procurando maneiras mais apropriadas de modelar variáveis ​​como renda, refletindo a distribuição real observada (não gaussiana).

A família de Modelos Lineares Generalizados é um conjunto de técnicas desenvolvidas em parte para solucionar os problemas que você levanta. Muitas famílias de distribuições exponenciais (por exemplo, distribuições Gama, Exponencial e Poisson) são assimétricas e apresentam uma variação que aumenta à medida que o centro da distribuição aumenta, contornando o problema que você aponta ao usar a distribuição Gaussiana. Se isso ainda é muito limitativo, é possível eliminar completamente uma "forma" pré-existente e simplesmente especificar uma relação entre a média de uma distribuição e sua variação (por exemplo, permitindo que a variação aumente proporcionalmente ao quadrado da média), usando o método de estimativa "quase-verossimilhança".

Claro, você poderia argumentar que essa forma de modelagem ainda é muito simplista e uma armadilha intelectual que nos leva a pensar que o futuro será como o passado. Você pode estar correto, e acho que a força do seu livro é fazer com que pessoas como eu considerem isso. Mas você precisa de argumentos diferentes daqueles que você usa nos capítulos 14-16. O grande peso que você atribui ao fato de que a variação da distribuição gaussiana é constante, independentemente de sua média (que causa problemas de escalabilidade), por exemplo, é inválida. Assim como sua ênfase no fato de que as distribuições da vida real tendem a ser assimétricas, e não curvas de sino.

Basicamente, você adotou uma simplificação excessiva da abordagem mais básica da estatística (modelagem ingênua de variáveis ​​brutas como tendo distribuições Gaussianas) e mostrou, em detalhes, (corretamente) as deficiências de uma abordagem tão simplificada. Você então usa isso para fazer a diferença para desacreditar todo o campo. Este é um grave lapso na lógica ou uma técnica de propaganda. É lamentável porque diminui seu argumento geral, muitos dos quais (como eu disse) achei válidos e persuasivos.

Eu estaria interessado em ouvir o que você diz em resposta. Duvido que seja o primeiro a levantar essa questão.

Com os melhores cumprimentos

EDUCAÇAO FISICA

Eu não li o livro, mas, como afirmado, as críticas me parecem bastante irracionais. Se eventos extremos são importantes, as estatísticas têm ferramentas apropriadas na caixa de ferramentas, como a teoria dos valores extremos, e um bom estatístico saberá como usá-los (ou pelo menos descobrirá como usá-los e estará suficientemente envolvido com o objetivo de a análise para olhar). A crítica parece ser "estatística ruim, porque existem estatísticos ruins que sabem apenas sobre distribuições normais".

Dizer que "o objetivo do livro é que a estatística não é muito útil" é impreciso, eu acho. Depois de ler o livro, o que ele parece estar dizendo é que coisas como finanças quantitativas ou qualquer tipo de negociação de valores mobiliários que pressupõe uma distribuição normal são fundamentalmente falhas (na verdade, no livro, ele chama pessoas que afirmam usar esses modelos para fazer previsões , "charlatães"). De acordo com Taleb, enquanto a distribuição normal faz um ótimo trabalho de modelar os valores de coisas tangíveis / físicas (por exemplo, altura, peso, vida útil etc.), sistemas como os mercados geralmente são movidos pela emoção humana e, portanto, são propensos a grandes oscilações que as distribuições normais não podem prever com precisão.

Não entendo bem as estatísticas e, até ler as respostas aqui, nunca tinha ouvido falar de coisas como a teoria dos valores extremos. Independentemente disso, The Black Swan e Fooled By Randomness parecem ter premissas semelhantes, que é "a distribuição normal nem sempre é boa". Não me lembro dele difamando todo o campo das estatísticas.

Eu li "O Cisne Negro", gostei e sou estatístico. Não achei insuportável sua "crítica às estatísticas". Ponto por ponto:

1. Taleb não inventou o conceito de cisne negro. Foi um exemplo favorecido no pensamento filosófico por um bom tempo!
2. Taleb não está criticando tanto as "estatísticas", como certas (más) aplicações dela.
3. O livro foi um best-seller. Não foi dirigido a estatísticos, mas ao público em geral. Foi muito bom ensinar ao público sobre coisas que os estatísticos conheciam muito bem, mas muitos dos outros leitores (a maioria!) Não. Para que pudéssemos aprender muito com esse livro sobre como "vender" estatísticas.
4. Mais importante (para mim), Taleb incluiu muitas referências à filosofia cética da Grécia antiga. Ninguém mais mencionou esse ponto aqui, mas acho que a inclusão foi o verdadeiro ponto de venda do livro!
5. O livro é uma obra literária, não uma obra técnica. Se você quiser criticar Taleb por seu trabalho técnico, acesse a página inicial e faça o download de alguns de seus documentos técnicos.

Para aqueles que não gostam desta resposta, ou não gostam do livro, podem dar uma olhada nos argumentos técnicos de Taleb no novo https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk. pdf "Risco silencioso", que é técnico.

Eu não li o Cisne Negro, mas se as críticas dele às estatísticas são realmente tão simples quanto você diz, é ridículo. Obviamente, algumas estatísticas dependem da distribuição Normal, mas muitas não.

Eventos raros podem ser modelados? Claro que eles podem. A verdadeira questão é quão bem eles podem ser modelados. E essa pergunta terá respostas diferentes em diferentes campos, com base no quanto sabemos sobre os raros eventos e seus antecedentes.

Na atual NY Times Magazine, há um artigo interessante de Nate Silver sobre como a previsão do tempo melhorou na última década. Isso inclui uma melhor modelagem de eventos raros, como furacões.

Vale a pena ler o livro?

Também não li o livro, mas não há como esse argumento ser tão simplista quanto dizer que há distribuições com caudas mais gordas que a distribuição normal. Isso seria um comentário para as outras respostas, mas não acumulei elogios suficientes neste site.

Da Wikipedia:

"Ele afirma que a estatística é fundamentalmente incompleta como um campo, pois não pode prever o risco de eventos raros ..."

Esta pergunta também é bastante semelhante a Qual é a opinião da comunidade sobre o Quarto Quadrante?

Eu recomendo fortemente a revisão deste livro por Dennis Lindley. Ele contém uma série de argumentos devastadores contra a exposição pobre e arrogante de idéias no livro:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abstract

O Cisne Negro é outro exemplo em que ser um "best-seller" não garante conteúdo de alta qualidade.

Eu não acho que Taleb realmente diria que técnicas estatísticas baseadas na distribuição gaussiana não são úteis. Seu argumento no livro era que eles são altamente úteis para muitos (mas não todos) processos e modelagens físicos ou biológicos. Ele faz alguns pontos bons e outros ruins (The Black Swan e Linked foram o começo da praga "tudo é uma lei do poder!" Que ainda nos assombra hoje), mas é importante lembrar que o livro é uma coleção de obras literárias e filosóficas ensaios destinados ao leigo.

Dito isto, acho que Taleb gosta de agravar as pessoas. Você pode ver isso em sua batalha com Myron Scholes. Nesse caso, pode ter sido útil como educação estatística no nível de graduação e, às vezes, no nível de pós-graduação, meio que foge da suposição de distribuições gaussianas. Imagino que durante seus anos de finanças, ele encontrou um grande número de quantos com um grande conhecimento de Black-Scholes e outras técnicas, mas que não consideraram suposições subjacentes, como a distribuição. Eu suspeito que Taleb estava cutucando o estabelecimento educacional por uma falha na educação adequada.

Aqueles de vocês que não leram o livro estão muito fora da base. Ele faz uma grande distinção entre o escalável e o não escalável. Para assuntos não escalonáveis, as estatísticas tradicionais servirão a uma bem o suficiente. Ele não está criticando nada disso. Os Cisnes Negros se originam no escalável e são difíceis de prever dados empíricos passados. O livro é sobre como esses eventos podem ter um impacto enorme e geralmente só são explicados após o fato. A epistemologia é excelente.

Sem ler o livro, sinto que os sinos gaussianos falham porque nunca deram uma definição clara de "densidade de probabilidade"; além disso, eles nunca fornecem um conjunto completo de pontos de curvas de Lorenz que incluem ao mesmo tempo o total de variáveis ​​distribuídas e o total de populações que percebem a primeira. Se "densidade" for usada, é necessário explicar com relação a qual variável; por exemplo, se você fala em quilogramas por litro, refere-se a uma densidade de peso relacionada ao volume. Esse passo não é dado pela teoria gaussiana nos livros didáticos. Não é de admirar que os jovens não entendam adequadamente as estatísticas.