Quão estranho é um conjunto de acidentes de avião?

Pergunta original (25/7/14): Esta citação da mídia faz sentido ou existe uma maneira estatística melhor de ver a enxurrada de acidentes de avião recentes?

No entanto, Barnett também chama a atenção para a teoria da distribuição de Poisson, que implica que intervalos curtos entre colisões são realmente mais prováveis ​​do que longos.

"Suponha que exista uma média de um acidente fatal por ano, o que significa que a chance de um acidente em um determinado dia é uma em 365", diz Barnett. "Se ocorrer um acidente em 1º de agosto, a chance de o próximo acidente ocorrer um dia depois, em 2 de agosto é 1/365. Mas a chance do próximo acidente ocorrer em 3 de agosto é (364/365) x (1/365) , porque a próxima falha ocorre em 3 de agosto apenas se não houver falha em 2 de agosto ".

"Parece contra-intuitivo, mas a conclusão segue implacavelmente das leis da probabilidade", diz Barnett.

Fonte: http://www.bbc.com/news/magazine-28481060

Esclarecimento (27/7/14): O que é contra-intuitivo (para mim) é dizer que eventos raros tendem a ocorrer perto do tempo. Intuitivamente, eu pensaria que eventos raros não ocorreriam perto no tempo. Alguém pode me indicar uma distribuição teórica ou empírica esperada do tempo entre eventos sob as premissas de uma distribuição de Poisson? (Ou seja, um histograma em que o eixo y é a frequência ou probabilidade e o eixo x é o tempo entre duas ocorrências consecutivas agrupadas em dias, semanas, meses ou anos ou similares.) Obrigado.

Esclarecimento (28/7/14): A manchete indica que é mais provável que haja grupos de acidentes do que acidentes amplamente espaçados. Permite operacionalizar isso. Digamos que um cluster tenha 3 acidentes de avião e um curto período de tempo seja de 3 meses e um longo período de tempo seja de 3 anos. Parece ilógico pensar que há uma probabilidade mais alta de que três acidentes ocorram dentro de um período de 3 meses do que dentro de um período de 3 anos. Mesmo se considerarmos o primeiro acidente, é ilógico pensar que mais 2 acidentes ocorrerão nos próximos 3 meses, em comparação com os próximos 3 anos. Se isso for verdade, o título da mídia será enganoso e incorreto. Estou esquecendo de algo?

Resumo: A primeira frase do parágrafo citado da BBC é superficial e enganosa.

Embora as respostas e comentários anteriores já tenham proporcionado uma excelente discussão, sinto que a questão principal não foi respondida satisfatoriamente.

Então, vamos supor que uma probabilidade de um acidente de avião em qualquer dia é e que as falhas são independentes um do outro. Vamos supor ainda que um avião caiu em 1º de janeiro. Quando o próximo avião cairia?$p=1/365$

Bem, vamos fazer uma simulação simples: para cada dia pelos próximos três anos, decidirei aleatoriamente se outro avião colidiu com probabilidade e anotarei o dia do próximo acidente; Vou repetir esse procedimento $p$ vezes. Aqui está o histograma resultante:$100\,000$

$\mathrm{Pr}(t) = (1-p)^t p$$t$

$0.27\%$$0.10\%$

$0.8\%$$94\%$ É por isso que, mesmo com uma distribuição de probabilidade monotonicamente decrescente, é certamente possível que "aglomerados" (por exemplo, dois acidentes de avião em três dias) sejam muito improváveis.

Aqui está outro histograma para realmente entender esse ponto. É simplesmente uma soma do histograma anterior em vários períodos sem interseção:

O que o repórter está dizendo é que a ocorrência aleatória de uma queda de avião pode ser modelada como um processo de Poisson - uma situação em que a probabilidade de um evento ocorrer em algum (pequeno) intervalo é proporcional à duração do referido intervalo e em que cada ocorrência em Independente de todos os outros.

Esse é um modelo razoável para o cenário descrito?

Provavelmente.

Certamente, esses eventos podem não ser 100% independentes, pois outros pilotos provavelmente alteram seu comportamento (mesmo que ligeiramente) após um acidente. [Eu não sei - talvez alguns pilotos façam algum treinamento extra em simulador ou algo assim]. No entanto, a suposição de independência ainda é inteiramente razoável.

E quanto a grupos de acidentes de avião?

Sim. Dado um processo de Poisson (ou mesmo algum outro processo aleatório), você iria esperar para ver alguns clusters de ocorrências.

De fato, conforme descrito pelo Oxford Dictionary of Statistics em sua entrada para o Processo de Poisson (que é uma "descrição matemática da aleatoriedade"):

[R]andomness usually gives rise to apparent clustering, despite the natural
expectation that randomness would lead to regularity.

Por exemplo, confira este pequeno pedaço de código R :

set.seed(123)
x <- runif(500)
y <- runif(500)

plot(x, y, pch=20, col='blue', main="A Random Distribution of Points")

que produz:

Embora saibamos que esse é um gráfico de pontos aleatórios, parece que existem alguns bits não- aleatórios - especificamente, em algumas partes do gráfico há grupos de pontos enquanto outras estão abertas. É esse mesmo tipo de comportamento que o artigo está tentando descrever (apenas com dados de séries temporais e não com dados espaciais ).

ATUALIZAR:

@ JoelW .: Então, por exemplo, digamos que a probabilidade de um avião cair amanhã (ou qualquer outro dia) seja " p " (e, digamos " p " seja algo como 1 em cem).

A razão pela qual a próxima queda de avião provavelmente ocorrerá amanhã mais do que em exatamente um ano (ou seja, em 26 de julho de 2015 ) é porque a probabilidade de a próxima queda ocorrer exatamente em um ano é igual a:

= Prob(crash tomorrow) * Prob(365 days with *no* crashes)

Faz sentido?

Em última análise, eu acho que a razão estas coisas são contra-intuitivo é porque normalmente quando pensamos em uma frase como: "The odds of a plane crash in one month compared with the odds of one happening tomorrow". Naturalmente, não consideramos imediatamente o período de 24 horas que começa em exatamente um mês. Em vez disso, nós (ou pelo menos eu penso) tendemos a pensar nisso de maneira mais flexível . Então, mais como: a month ± a week. Isso e o fato de nos esquecermos de levar em consideração as chances de um acidente não acontecer nesse meio tempo ... (Mas, novamente, talvez seja apenas eu ...).

Ufa!

Recursos adicionais:

• Artigo da Wikipedia sobre a Ilusão de Cluster
• Um pdf que menciona especificamente o "agrupamento" de acidentes de avião (na página 8) e descreve brevemente a matemática de um processo de Poisson .

Se o número de acidentes de avião é distribuído por Poisson (como ele parece afirmar), o tempo entre acidentes tem uma distribuição exponencial. O pdf da distribuição exponencial é uma função monotônica decrescente do tempo. Portanto, falhas anteriores são mais prováveis ​​do que falhas posteriores.

As outras respostas já trataram de como os eventos independentes se agrupam. (Ler o Caos de Gleick, todos esses anos atrás, abriu meus olhos para essa ideia.)

Mas, de fato, há fortes evidências de que acidentes de avião não são eventos independentes. A influência de Cialdini tem um capítulo muito bom sobre isso (também mencionado aqui, com alguns links para dados; e encontrei um trecho dessa parte do livro ). Obviamente, isso é altamente controverso: está basicamente dizendo que, quanto mais divulgado é um acidente aéreo, maior a probabilidade de influenciar um piloto (consciente ou inconscientemente) a derrubar seu avião. Mas as explicações psicológicas subjacentes à hipótese parecem plausíveis, e os dados parecem também apoiá-la.

(Os links para a pesquisa de desmistificação baseada em estatísticas serão bem-vindos, nos comentários.)