Convergência em probabilidade vs. convergência quase certa

67

Eu realmente nunca percebi a diferença entre essas duas medidas de convergência. (Ou, de fato, qualquer um dos diferentes tipos de convergência, mas menciono esses dois em particular por causa das Leis Fracas e Fortes de Grandes Números.)

Claro, posso citar a definição de cada um e dar um exemplo em que eles diferem, mas ainda não entendi direito.

Qual é uma boa maneira de entender a diferença? Por que a diferença é importante? Existe um exemplo particularmente memorável em que eles diferem?

probability random-variable

— raegtin
fonte

Também a resposta a esta: stats.stackexchange.com/questions/72859/...

— Kjetil b Halvorsen

Possível duplicata de Existe uma aplicação estatística que exija consistência forte?

— Kjetil b Halvorsen

67

Do meu ponto de vista, a diferença é importante, mas em grande parte por razões filosóficas. Suponha que você tenha algum dispositivo que melhore com o tempo. Portanto, toda vez que você usa o dispositivo, a probabilidade de falha é menor do que antes.

A convergência em probabilidade diz que a chance de falha chega a zero à medida que o número de usos chega ao infinito. Portanto, depois de usar o dispositivo várias vezes, você pode ter certeza de que ele está funcionando corretamente, ainda pode falhar, é muito improvável.

A convergência quase certamente é um pouco mais forte. Diz que o número total de falhas é finito . Ou seja, se você contar o número de falhas à medida que o número de usos for infinito, obterá um número finito. O impacto disso é o seguinte: Conforme você usa o dispositivo cada vez mais, após um número finito de usos, você esgotará todas as falhas. A partir de então, o dispositivo funcionará perfeitamente .

Como Srikant aponta, você realmente não sabe quando esgotou todas as falhas; portanto, de um ponto de vista puramente prático, não há muita diferença entre os dois modos de convergência.

No entanto, pessoalmente, estou muito feliz que, por exemplo, exista a lei forte de grandes números, em oposição à lei fraca. Porque agora, um experimento científico para obter, digamos, a velocidade da luz, se justifica em tomar médias. Pelo menos em teoria, depois de obter dados suficientes, você pode se aproximar arbitrariamente da verdadeira velocidade da luz. Não haverá falhas (ainda que improváveis) no processo de média.

$\delta > 0$ $n$ $X_1,X_2,\dots,X_n$ $\mu$

S_{n} = \frac{1}{n} \sum_{k = 1}^{n} X_{k} .

$S_n = \frac{1}{n}\sum_{k=1}^n X_k.$

n

$n$

S_{n}

$S_n$

n = 1, 2, \dots

$n = 1,2,\dots$

X_{n}

$X_n$

P (| S_{n} - μ | > δ) \to 0

$P(|S_n - \mu| > \delta) \rightarrow 0$

n

$n$

\infty

$\infty$

| S_{n} - μ |

$|S_n - \mu|$

δ

$\delta$

I (| S_{n} - μ | > δ)

$I(|S_n - \mu| > \delta)$

| S_{n} - μ | > δ

$|S_n - \mu| > \delta$

\sum_{n = 1}^{\infty} I (| S_{n} - μ | > δ)

$\sum_{n=1}^{\infty}I(|S_n - \mu| > \delta)$

S_{n}

$S_n$

n_{0}

$n_0$

| S_{n} - μ | < δ

$|S_n - \mu| < \delta$

n > n_{0}

$n > n_0$

n > n_{0}

$n > n_0$

— Robby McKilliam
fonte

11

Obrigado, eu gosto da convergência de pontos de vista de séries infinitas!

— raegtin 01/09/10

11

Eu acho que você quis dizer contável e não necessariamente finito, estou errado? Ou eu estou misturando com integrais.

— Royi 02/08/19

Para ser mais preciso, o conjunto de eventos que acontece (ou não) é com medida de zero -> probabilidade de zero acontecer.

— Royi 02/08/19

n_{0}

$n_0$

n_{0}

$n_0$

33

Sei que essa pergunta já foi respondida (e muito bem, na minha opinião), mas havia uma pergunta diferente aqui que tinha um comentário @NRH que mencionava a explicação gráfica e, em vez de colocar as fotos lá , seria mais adequado coloque-os aqui.

Então, aqui vai. Não é tão legal quanto um pacote R. Mas é independente e não requer uma assinatura do JSTOR.

$X_{i}= \pm 1$

\frac{S_{n}}{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, n = 1, 2, \dots .

$\frac{S_{n}}{n} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},\quad n=1,2,\ldots.$

Lei forte de grandes números

O SLLN (convergência quase certamente) diz que podemos ter 100% de certeza de que essa curva que se estende para a direita acabará, em algum momento finito, inteiramente dentro das bandas para sempre (à direita).

O código R usado para gerar esse gráfico está abaixo (rótulos de plotagem omitidos por questões de brevidade).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

$Lei fraca de grandes números$

$n$

O código R para o gráfico a seguir (novamente, pulando rótulos).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)

— Comunidade
fonte

6

Eu entendo da seguinte forma,

Convergência em probabilidade

A probabilidade de que a sequência de variáveis aleatórias seja igual ao valor alvo diminui assintoticamente e se aproxima de 0, mas na verdade nunca atinge 0.

Convergência quase certa

A sequência de variáveis aleatórias será igual ao valor alvo assintoticamente, mas você não pode prever em que ponto isso acontecerá.

$\equiv$

O wiki tem alguns exemplos de ambos os quais devem ajudar a esclarecer o que foi dito acima (em particular, veja o exemplo do arqueiro no contexto de convergência em prob e o exemplo da caridade no contexto de convergência quase certa).

Do ponto de vista prático, basta convergência em probabilidade, pois não nos preocupamos particularmente com eventos muito improváveis. Como exemplo, a consistência de um estimador é essencialmente convergência em probabilidade. Assim, ao usar uma estimativa consistente, reconhecemos implicitamente o fato de que em amostras grandes há uma probabilidade muito pequena de que nossa estimativa esteja longe do valor real. Vivemos com esse "defeito" de convergência em probabilidade, pois sabemos que assintoticamente a probabilidade de o estimador estar longe da verdade é muito pequena.

— - Reinstate Monica
fonte

O editor de tentativas argumenta que isso deveria ser "A probabilidade de que a sequência de variáveis aleatórias não seja igual ao valor alvo ...".

— gung - Restabelece Monica

"A probabilidade de que a sequência de variáveis aleatórias seja igual ao valor alvo está diminuindo assintoticamente e se aproxima de 0, mas nunca chega a zero". Não deveria nunca pode realmente atingir 0?

— Jyotish Robin

@gung A probabilidade de que seja igual ao valor-alvo se aproxima de 1 ou a probabilidade de que ele não seja igual aos valores-alvo se aproxima de 0. A definição atual está incorreta.

— Undertherainbow 22/06

5

Se você gosta de explicações visuais, havia um bom artigo sobre o assunto no American Statistician (citação abaixo). Como bônus, os autores incluíram um pacote R para facilitar o aprendizado.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}

— Kingsford Jones
fonte

1

Esse último cara explica muito bem. Se você tomar uma sequência de variáveis aleatórias Xn = 1 com probabilidade 1 / n e zero, caso contrário. É fácil ver limites que convergem para zero em probabilidade, mas falham em convergir quase com certeza. Como ele disse, a probabilidade não se importa que possamos encontrar alguém no caminho. Quase certamente faz.

Quase certamente implica convergência em probabilidade, mas não o contrário.

— Tim Brown
fonte

5

Bem-vindo ao site, @ Tim-Brown, agradecemos sua ajuda para responder a perguntas aqui. Uma coisa a notar é que é melhor identificar outras respostas pelo nome de usuário do respondente, "esse último cara" não será muito eficaz. Por exemplo, a lista será reordenada ao longo do tempo à medida que as pessoas votarem. Você pode ler nossas Perguntas frequentes .

— gung - Restabelece Monica

0

Uma coisa que me ajudou a entender a diferença é a seguinte equivalência

$P({\lim_{n\to\infty}|X_n-X|=0})=1 \Leftarrow \Rightarrow \lim_{n\to\infty}({\sup_{m>=n}|X_m-X|>\epsilon })=0$ $\forall \epsilon > 0$

Em comparação, a convergência estocástica:

$\lim_{n\to\infty}P(|X_n-X|>\epsilon) = 0$ $\forall \epsilon >0$

Ao comparar o lado direito da equivalência superior com a convergência estocástica, acho que a diferença fica mais clara.

— Sebastian
fonte