33

Por muito tempo não se entender por que a "soma" de duas variáveis aleatórias é a sua convoluo , ao passo que uma soma função densidade da mistura de e é $f(x)$ $g(x)$ $p\,f(x)+(1-p)g(x)$ ; a soma aritmética e não a sua convolução. A frase exata "a soma de duas variáveis aleatórias" aparece no google 146.000 vezes e é elíptica da seguinte maneira. Se considerarmos que um VR produz um único valor, esse valor único pode ser adicionado a outro valor único do RV, que nada tem a ver com convolução, pelo menos não diretamente, basta uma soma de dois números. Um resultado de RV na estatística é, no entanto, uma coleção de valores e, portanto, uma frase mais exata seria algo como "o conjunto de somas coordenadas de pares de valores individuais associados de dois RVs é sua convolução discreta" ... e pode ser aproximado pelo convolução das funções de densidade correspondentes aos RV. Linguagem ainda mais simples: 2 RVs de $n$ -samples são de fato dois vetores n-dimensionais que adicionam como sua soma vetorial.

Por favor, mostre os detalhes de como a soma de duas variáveis aleatórias é uma convolução e uma soma.

— Carl
fonte

6

Eu realmente não acredito que seja "soma" em um sentido algébrico abstrato . Quando fazemos uma "soma de variáveis", nos referimos à operação aritmética típica, como sabemos ao adicionar números naturais ou números reais. Isso significa que criamos uma nova variável 'adicionando' as outras variáveis. A noção de 'uma soma de variáveis' também existe fora do campo da estatística e é independente das expressões sobre convoluções e probabilidades. Então, de fato 'a soma das variáveis é uma convolução', está errada. Mas ninguém está implicando isso. Deveríamos mudar a palavra 'is' nessa afirmação.

— Sextus Empiricus

5

É como argumentar que não deve ser chamado de 'produto de duas funções f e g' (ou apenas interpretado como alguma noção algébrica abstrata de 'produto') porque é uma convolução em termos das transformadas de Fourier dessas funções.

f (x) \cdot g (x)

$f(x) \cdot g(x)$

— Sextus Empiricus

16

O "aviso" é enganoso. Uma soma das variáveis aleatórias e significa exatamente no mesmo sentido que "soma" é entendida pelos alunos: para cada , o valor é encontrado adicionando os números eNão há nada abstrato nisso. Esses RVs têm distribuições. Existem muitas maneiras de representar as distribuições. A função de distribuição de é a convolução dos DFs de e ; a função característica de é o produto

X

$X$

Y

$Y$

ω

$\omega$

(X + Y) (ω)

$(X+Y)(\omega)$

X (ω)

$X(\omega)$

Y (ω) .

$Y(\omega).$

X + Y

$X+Y$

X

$X$

Y

$Y$

X + Y

$X+Y$ dos seus CFs; a função geradora cumulativa de é a soma de seus CGFs; e assim por diante.

X + Y

$X+Y$

— whuber

3

Não vejo variáveis aleatórias ou distribuições em seu cálculo.

— whuber

8

No idioma do meu post em stats.stackexchange.com/a/54894/919 , um par de variáveis aleatórias consiste em uma caixa de tickets em cada um dos quais estão escritos dois números, um designado e o outro A soma dessas variáveis aleatórias é obtida adicionando os dois números encontrados em cada ticket. O cálculo literalmente é uma tarefa que você pode atribuir a uma sala de aula da terceira série. (Faço esse ponto para enfatizar tanto a simplicidade fundamental da operação quanto mostrar como ela está fortemente ligada ao que todos entendem uma "soma" como significando.)

(X, Y)

$(X,Y)$

X

$X$

Y .

$Y.$

— whuber

14

Os cálculos de convolução associados à distribuição de variáveis aleatórias são todas manifestações matemáticas da Lei da Probabilidade Total .

No idioma do meu post em O que significa uma "variável aleatória"? ,

Um par de variáveis aleatórias é constituído por uma caixa de passagens em cada um dos quais são escritos dois números, um designada e o outro . A soma dessas variáveis aleatórias é obtida adicionando os dois números encontrados em cada ticket. $(X,Y)$ $X$ $Y$

Publiquei uma foto dessa caixa e de seus tickets no Esclarecendo o conceito de soma de variáveis aleatórias .

Esse cálculo é literalmente uma tarefa que você pode atribuir a uma sala de aula da terceira série. (Faço esse ponto para enfatizar a simplicidade fundamental da operação e também mostrar o quão fortemente ela está conectada com o que todos entendem como "soma").

Como a soma das variáveis aleatórias é expressa matematicamente depende de como você representa o conteúdo da caixa:

Em termos de funções de massa de probabilidade (pmf) ou funções de densidade de probabilidade (pdf), é a operação de convolução .
Em termos de funções geradoras de momento (mgf), é o produto (elementar).
Em termos de funções de distribuição (cumulativas) (cdf), é uma operação intimamente relacionada à convolução. (Veja as referências.)
Em termos de funções características (cf), é o produto (elemento a elemento).
Em termos de funções geradoras cumulantes (cgf), é a soma.

Os dois primeiros são especiais na medida em que a caixa pode não ter pmf, pdf ou mgf, mas sempre possui cdf, cf e cgf.

Para ver por que a convolução é o método apropriado para calcular o pmf ou pdf de uma soma de variáveis aleatórias, considere o caso em que as três variáveis e têm um pmf: por definição, o pmf para em qualquer número fornece a proporção de tickets na caixa em que a soma é igual a escrita $X,$ $Y,$ $X+Y$ $X+Y$ $z$ $X+Y$ $z,$ $\Pr(X+Y=z).$

O pmf da soma é encontrado dividindo o conjunto de tickets de acordo com o valor de escrito neles, seguindo a Lei da Probabilidade Total, que afirma proporções (de subconjuntos disjuntos) adicionadas. Mais tecnicamente, $X$

A proporção de tickets encontrados em uma coleção de subconjuntos separados da caixa é a soma das proporções dos subconjuntos individuais.

É aplicado assim:

A proporção de tickets em que , escrito deve ser igual à soma de todos os valores possíveis da proporção de tickets em que e escrito $X+Y=z$ $\Pr(X+Y=z),$ $x$ $X=x$ $X+Y=z,$ $\Pr(X=x, X+Y=z).$

Como e implicam essa expressão pode ser reescrita diretamente em termos das variáveis originais e como $X=x$ $X+Y=z$ $Y=z-x,$ $X$ $Y$

Pr (X + Y = z) = \sum_{x} Pr (X = x, Y = z - x) .

$\Pr(X+Y=z) = \sum_x \Pr(X=x, Y=z-x).$

Essa é a convolução.

Editar

Observe que, embora convoluções estejam associadas a somas de variáveis aleatórias, as convoluções não são convoluções das próprias variáveis aleatórias!

De fato, na maioria dos casos, não é possível envolver duas variáveis aleatórias. Para que isso funcione, seus domínios precisam ter estrutura matemática adicional. Essa estrutura é um grupo topológico contínuo.

Sem entrar em detalhes, basta dizer que a convolução de quaisquer duas funções deve abstrair algo como $X, Y:G \to H$

(X ⋆ Y) (g) = \sum_{h, k \in G ∣ h + k = g} X (h) Y (k) .

$(X\star Y)(g) = \sum_{h,k\in G\mid h+k=g} X(h)Y(k).$

(A soma pode ser uma integral e, se isso produzir novas variáveis aleatórias a partir de variáveis existentes, deve ser mensurável sempre que e forem; é aí que deve haver alguma consideração sobre topologia ou mensurabilidade.) $X\star Y$ $X$ $Y$

Esta fórmula chama duas operações. Uma é a multiplicação em deve fazer sentido multiplicar os valores e A outra é a adição em deve fazer sentido adicionar elementos de $H:$ $X(h)\in H$ $Y(k)\in H.$ $G:$ $G.$

Na maioria das aplicações de probabilidade, é um conjunto de números (real ou complexo) e a multiplicação é a usual. Mas o espaço da amostra, geralmente não possui estrutura matemática. É por isso que a convolução de variáveis aleatórias geralmente nem é definida. Os objetos envolvidos nas convoluções neste encadeamento são representações matemáticas das distribuições de variáveis aleatórias. Eles são usados para calcular a distribuição de uma soma de variáveis aleatórias, dada a distribuição conjunta dessas variáveis aleatórias. $H$ $G,$

Referências

Stuart e Ord, Teoria Avançada de Estatística de Kendall, Volume 1. Quinta edição, 1987, capítulos 1, 3 e 4 ( Distribuições de frequência, momentos e cumulantes e funções características ).

— whuber
fonte

A associatividade com a multiplicação escalar a partir de propriedades algébricas relaciona que para qualquer número real (ou complexo) . Enquanto uma boa propriedade é que a convolução de duas funções de densidade é uma função de densidade, não se restringe a funções de densidade em convolução, e a convolução não é em geral um tratamento de probabilidade, com certeza pode ser, mas pode ser um tratamento de série temporal, por exemplo, um tratamento do escoamento de água em lagos após uma chuva, um modelo de concentração de medicamentos após a administração, etc.

a (f * g) = (a f) * g

$a ( f ∗ g ) = ( a f ) ∗ g$

a

$a$

— Carl

@Carl Como esse comentário se comporta à sua pergunta original, que pergunta sobre somas de variáveis aleatórias ? Na melhor das hipóteses, é tangencial.

— whuber

Estou pedindo para você não generalizar demais. Começar uma frase com "convolução é" sem dizer "convolução de RV é" é elíptico. Todo o meu problema aqui foi com a notação elíptica. A adição de vetores de dois vetores do espaço é convolução, independentemente de esses vetores serem ou não normalizados. Se eles são normalizados, não precisam ser probabilidades. Essa é toda a verdade, não apenas parte dela.

n

$n$

— Carl

Obrigado: esclarecerei a primeira frase para enfatizar que estou respondendo à sua pergunta.

— whuber

Nova adição é verdadeira para a convolução de RVs, que é tecnicamente o que eu pedi. E talvez eu esteja equivocando, mas a convolução nem sempre é do RV, mas sempre pode ser reduzida a alguns fatores de escala das funções de densidade vezes essas funções de densidade, onde os escalares são multiplicativos e onde as funções de densidade são às vezes RVs; nesse caso, os fatores de escala são a identidade multiplicativa, ou seja, 1.

— Carl

41

Notação, maiúscula e minúscula

https://en.wikipedia.org/wiki/Notation_in_probability_and_statistics

Variáveis aleatórias são geralmente escritas em letras romanas maiúsculas: , , etc. $X$ $Y$

Realizações particulares de uma variável aleatória são escritas em letras minúsculas correspondentes. Por exemplo , ,…, pode ser uma amostra correspondente à variável aleatória e uma probabilidade cumulativa é formalmente escrita para diferenciar variável aleatória da realização. $x_1$ $x_2$ $x_n$ $X$ $P ( X > x )$

$Z=X+Y$ significa $z_i=x_i+y_i \qquad \forall x_i,y_i$

Mistura de variáveis -> soma dos pdfs

https://en.wikipedia.org/wiki/Mixture_distribution

Está usar uma soma de funções de densidade de probabilidade e quando a probabilidade (de, digamos, Z) é um definido por uma única soma de probabilidades diferentes. $f_{X_1}$ $f_{X_2}$

Por exemplo, quando é uma fração do tempo definido por e uma fração do tempo definido por , você obtém e $Z$ $s$ $X_1$ $1-s$ $X_2$

P (Z = z) = s P (X_{1} = z) + (1 - s) P (X_{2} = z)

$\mathbb{P}(Z=z) = s \mathbb{P}(X_1=z) + (1-s) \mathbb{P}(X_2=z)$

f_{Z} (z) = s f_{X_{1}} (z) + (1 - s) f_{X_{2}} (z)

$f_Z(z) = s f_{X_1}(z) + (1-s) f_{X_2}(z)$

. . . . um exemplo é uma escolha entre rolagem de dados com dados de 6 lados ou dados de 12 lados. Digamos que você faça 50-50 por cento do tempo em que um dado ou outro. Então

f_{m i x e d r o l l} (z) = 0.5 f_{6 - s i d e d} (z) + 0.5 f_{12 - s i d e d} (z)

$f_{mixed roll}(z) = 0.5 \, f_{6-sided}(z) + 0.5 \, f_{12-sided}(z)$

Soma das variáveis -> convolução dos pdfs

https://en.wikipedia.org/wiki/Convolution_of_probability_distributions

Utilizar um convolução das funções de densidade de probabilidade e quando a probabilidade (de, digamos, Z) é definida por uma múltiplos somas de diferentes probabilidades (independentes). $f_{X_1}$ $f_{X_2}$

Por exemplo, quando (ou seja, uma soma!) E vários pares diferentes somam , com cada uma a probabilidade . Então você obtém a convolução $Z = X_1 + X_2$ $x_1,x_2$ $z$ $f_{X_1}(x_1)f_{X_2}(x_2)$

P (Z = z) = \sum_{all pairs x_{1} + x_{2} = z} P (X_{1} = x_{1}) \cdot P (X_{2} = x_{2})

$\mathbb{P}(Z=z) = \sum_{\text{all pairs }x_1+x_2=z} \mathbb{P}(X_1=x_1) \cdot \mathbb{P}(X_2=x_2)$

e

f_{Z} (z) = \sum_{x_{1} \in domain of X_{1}} f_{X_{1}} (x_{1}) f_{X_{2}} (z - x_{1})

$f_Z(z) = \sum_{x_1 \in \text{ domain of }X_1} f_{X_1}(x_1) f_{X_2}(z-x_1)$

ou para variáveis contínuas

f_{Z} (z) = \int_{x_{1} \in domain of X_{1}} f_{X_{1}} (x_{1}) f_{X_{2}} (z - x_{1}) d x_{1}

$f_Z(z) = \int_{x_1 \in \text{ domain of }X_1} f_{X_1}(x_1) f_{X_2}(z-x_1) d x_1$

. . . . um exemplo é uma soma de dois dados rolos para e $f_{X_2}(x) = f_{X_1}(x) = 1/6$ $x \in \lbrace 1,2,3,4,5,6 \rbrace$

f_{Z} (z) = \sum_{x \in {1, 2, 3, 4, 5, 6} and z - x \in {1, 2, 3, 4, 5, 6}} f_{X_{1}} (x) f_{X_{2}} (z - x)

$f_Z(z) = \sum_{x \in \lbrace 1,2,3,4,5,6 \rbrace \\ \text{ and } z-x \in \lbrace 1,2,3,4,5,6 \rbrace} f_{X_1}(x) f_{X_2}(z-x)$

note que eu escolhi integrar e somar , o que acho mais intuitivo, mas não é necessário e você pode integrar de a se definir fora do domínio. $x_1 \in \text{ domain of } X_1$ $-\infty$ $\infty$ $f_{X_1}(x_1)=0$

Exemplo de imagem

Vamos ser . Para conhecer você precisará integrar as probabilidades de todas as realizações de que leve a . $Z$ $X+Y$ $\mathbb{P}(z-\frac{1}{2}dz<Z<z+\frac{1}{2}dz)$ $x,y$ $z-\frac{1}{2}dz<Z=X+Y<z+\frac{1}{2}dz$

Portanto, essa é a integral de na região ao longo da linha . $f(x)g(y)$ $\pm \frac{1}{2}dz$ $x+y=z$

Escrito por StackExchangeStrike

— Sextus Empiricus
fonte

6

@ Carl não é jargonesque. A convolução pode de fato ser vista como uma soma de muitas somas. Mas, não é a isso que 'soma de variáveis' se refere. Refere-se a coisas como quando falamos de uma 'soma de dois dados', que tem um significado e uma interpretação muito normais na vida cotidiana (especialmente quando jogamos um jogo de tabuleiro). Você gostaria de dizer que fazemos uma combinação de dois lançamentos de dados quando usamos a soma algébrica de dois lançamentos de dados?

— Sextus Empiricus

2

A probabilidade de rolar 7 com a soma (única) de dois dados é a soma de (muitas) probabilidades de rolar 1-6, 2-5, 3-4, 4-3, 5-2, 6-1. O termo soma ocorre duas vezes e, no primeiro caso, quando se refere a uma única expressão de soma, é a que a declaração 'soma de duas variáveis' se refere, como em 'soma de dois dados'.

— Sextus Empiricus

5

De fato, a integral substitui a soma das probabilidades. Mas, isso se refere ao segundo uso do termo soma, não ao primeiro uso do termo soma. Portanto, ainda podemos nos referir à soma de duas variáveis (que é o primeiro uso do termo). Isso ocorre porque o termo 'soma' não é usado para se referir à operação de convolução ou operação de somatória das probabilidades, mas ao somatório das variáveis.

— Sextus Empiricus

8

pelo menos não é jargonesco afirmar 'a densidade de probabilidade para uma soma de jogadas de dados é definida pela convolução das densidades de probabilidade para cada rolagem de dados'. O termo "uma soma de jogadas de dados" tem uma interpretação muito normal na vida cotidiana, quando não há estatísticos no jargão. É nesse sentido (soma dos lançamentos de dados) que você precisa interpretar (soma das variáveis). Este passo não é nem um pouco jargônico. As pessoas usam 'somas de variáveis' o tempo todo. É somente o estatístico que pensa sobre as probabilidades para essas somas e começa a aplicar circunvoluções

— Sexto Empírico

2

@Carl: Eu acho que você não entendeu minha declaração. Você estava dizendo que não é bom chamar uma integral de convolução uma soma, implicando que alguém chama a integral de convolução de uma soma. Mas ninguém aqui está dizendo isso. O que foi dito é que uma integral de convolução é o pdf da soma de certas variáveis. Você estava alterando a declaração para algo falso e depois reclamou que é falso.

28

Sua confusão parece surgir de variáveis aleatórias conflitantes com suas distribuições.

Para "desaprender" essa confusão, pode ser útil dar alguns passos para trás, esvaziar sua mente por um momento, esquecer qualquer formalismo sofisticado, como espaços de probabilidade e álgebras sigma (se ajudar, finja que você está de volta à escola primária) e nunca ouvi falar de nenhuma dessas coisas!) e pense no que uma variável aleatória representa fundamentalmente: um número cujo valor não temos certeza .

Por exemplo, digamos que tenho um dado de seis lados na mão. (Na verdade, tenho. Na verdade, tenho um saco inteiro deles.) Ainda não o rolei, mas estou prestes a fazê-lo, e decido ligar para o número que ainda não havia rolado naquele dado. o nome " ". $X$

O que posso dizer sobre esse , sem realmente rolar o dado e determinar seu valor? Bem, posso dizer que seu valor não será , , ou . De fato, posso ter certeza de que será um número inteiro entre e , inclusive, porque esses são os únicos números marcados no dado. E porque eu comprei este pacote de dados de um fabricante respeitável, posso ter certeza de que, quando rolar o dado e determinar qual é o número , é igualmente provável que seja um desses seis valores possíveis ou o mais próximo possível como eu posso determinar. $X$ $7$ $-1$ $\frac12$ $1$ $6$ $X$

Em outras palavras, meu é uma variável aleatória com valor inteiro distribuída uniformemente no conjunto . $X$ $\{1,2,3,4,5,6\}$

OK, mas certamente tudo isso é óbvio, então por que continuo elaborando coisas tão triviais que você certamente já sabe? É porque quero enfatizar outro ponto, que também é trivial e, ao mesmo tempo, crucialmente importante: eu posso fazer contas com esse , mesmo que ainda não saiba seu valor! $X$

Por exemplo, posso decidir adicionar um ao número que rolarei no dado e chamar esse número pelo nome " ". Não saberei qual número esse será, já que não sei qual será o até que eu role o dado, mas ainda posso dizer que será um maior que ou, em termos matemáticos, . $X$ $Q$ $Q$ $X$ $Q$ $X$ $Q = X+1$

E este será também uma variável aleatória, porque eu não sei o seu valor ainda; Eu só sei que vai ser um maior do que . E porque eu sei que valores pode tomar, e quão provável é levar cada um desses valores, eu também pode determinar as coisas para . E você também pode, facilmente. Você realmente não precisa de nenhum formalismo ou cálculo sofisticado para descobrir que será um número inteiro entre e , e que é igualmente provável (assumindo que meu dado seja tão justo e equilibrado quanto eu acho) qualquer um desses valores. $Q$ $X$ $X$ $Q$ $Q$ $2$ $7$

Mas tem mais! Eu poderia decidir, por exemplo, multiplicar o número que rolarei no dado por três e chamar o resultado . E essa é outra variável aleatória, e tenho certeza de que você também pode descobrir sua distribuição, sem precisar recorrer a integrais, convoluções ou álgebra abstrata. $X$ $R = 3X$

E se eu realmente quisesse, eu poderia até decidir pegar o número ainda a ser determinado e ~~dobrar, girar e mutilar~~ dividi-lo por dois, subtrair um dele e calcular o resultado ao quadrado. E o número resultante é outra variável aleatória; dessa vez, não terá valor inteiro nem distribuição uniforme, mas você ainda pode descobrir sua distribuição com bastante facilidade usando apenas lógica e aritmética elementares. $X$ $S = (\frac12 X - 1)^2$

OK, para que eu possa definir novas variáveis aleatórias conectando meu dado desconhecido em várias equações. E daí? Bem, lembra quando eu disse que tinha um saco inteiro de dados? Deixe-me pegar outro e ligar para o número que eu vou rolar naquele dado com o nome " ". $X$ $Y$

Esses dois dados que peguei na sacola são praticamente idênticos - se você os trocasse quando eu não estava olhando, eu não seria capaz de dizer - então posso assumir com segurança que esse também terá a mesma distribuição que . Mas o que eu realmente quero fazer é rolar os dados e contar o número total de pips em cada um deles . E esse número total de pips, que também é uma variável aleatória, pois ainda não o conheço , chamarei de " ". $Y$ $X$ $T$

Qual será o tamanho desse número ? Bem, se é o número de sementes que irão rolar sobre a primeira matriz, e é o número de sementes que irão rolar sobre a segunda matriz, então será claramente a sua soma, ou seja, . E posso dizer que, como e estão entre um e seis, deve ter pelo menos dois e no máximo doze. E como e são números inteiros, claramente deve ser também um número inteiro. $T$ $X$ $Y$ $T$ $T = X+Y$ $X$ $Y$ $T$ $X$ $Y$ $T$

Mas qual a probabilidade de levar cada um de seus possíveis valores entre dois e doze? Definitivamente, não é igualmente provável que você pegue cada um deles - um pouco de experimentação revelará que é muito mais difícil jogar doze em um par de dados do que jogar, digamos, sete. $T$

Para descobrir isso, deixe-me indicar a probabilidade de rolar o número no primeiro dado (aquele cujo resultado eu decidi chamar ) pela expressão . Da mesma forma, denotarei a probabilidade de rolar o número no segundo dado por . Claro que, se os meus dados são perfeitamente justo e equilibrado, então para qualquer e entre um e seis anos, mas podemos também considerar o mais geral caso em que os dados possam realmente ser tendenciosos e mais propensos a rolar alguns números do que outros. $a$ $X$ $\Pr[X = a]$ $b$ $\Pr[Y = b]$ $\Pr[X = a] = \Pr[Y = b] = \frac16$ $a$ $b$

Agora, uma vez que as duas rolagens de dados será independente (eu certamente não estou pensando em fazer batota e ajustar um deles baseado em outro!), A probabilidade de que eu vou rolar sobre o primeiro dado e na segunda simplesmente seja o produto dessas probabilidades: $a$ $b$

Pr [X = a and Y = b] = Pr [X = a] Pr [Y = b] .

$\Pr[X = a \text{ and } Y = b] = \Pr[X = a] \Pr[Y = b].$

(Observe que a fórmula acima é válida apenas para pares independentes de variáveis aleatórias; certamente não seria válida se substituíssemos acima por, digamos, !) $Y$ $Q$

Agora, existem vários valores possíveis de e que poderiam produzir o mesmo total ; por exemplo, poderia surgir tão bem de e quanto de e , ou mesmo de e . Mas se eu já tivesse rolado o primeiro dado e soubesse o valor de , poderia dizer exatamente qual valor teria que rolar no segundo dado para atingir qualquer número total de pips. $X$ $Y$ $T$ $T = 4$ $X = 1$ $Y = 3$ $X = 2$ $Y = 2$ $X = 3$ $Y = 1$ $X$

Especificamente, digamos que estamos interessados na probabilidade de que , para algum número . Agora, se eu souber depois de rolar o primeiro dado que , então eu só poderia obter o total rolando no segundo dado. E, é claro, já sabemos, sem rolar nenhum dado, que a probabilidade a priori de rolar no primeiro dado no segundo dado é $T = c$ $c$ $X = a$ $T = c$ $Y = c - a$ $a$ $c - a$

Pr [X = a and Y = c - a] = Pr [X = a] Pr [Y = c - a] .

$\Pr[X = a \text{ and } Y = c-a] = \Pr[X = a] \Pr[Y = c-a].$

Mas é claro que existem várias maneiras possíveis de atingir o mesmo total , dependendo do que acabo rolando no primeiro dado. Para chegar a probabilidade total de rolar pips sobre os dois dados, eu preciso somar as probabilidades de todas as diferentes maneiras que eu poderia rolar esse total. Por exemplo, a probabilidade total de que eu jogue um total de 4 pips nos dois dados será: $c$ $\Pr[T = c]$ $c$

Pr [T = 4] = Pr [X = 1] Pr [Y = 3] + Pr [X = 2] Pr [Y = 2] + Pr [X = 3] Pr [Y = 1] + Pr [X = 4] Pr [Y = 0] + \dots

$\Pr[T = 4] = \Pr[X = 1]\Pr[Y = 3] + \Pr[X = 2]\Pr[Y = 2] + \Pr[X = 3]\Pr[Y = 1] + \Pr[X = 4]\Pr[Y = 0] + \dots$

Note que eu fui longe demais com essa soma acima: certamente não pode ser ! Mas matematicamente isso não é problema; só precisamos definir a probabilidade de eventos impossíveis como (ou ou ou ) como zero. Dessa forma, obtemos uma fórmula genérica para a distribuição da soma de duas rolagens de dados (ou, mais geralmente, quaisquer duas variáveis aleatórias independentes com valor inteiro): $Y$ $0$ $Y = 0$ $Y = 7$ $Y = -1$ $Y = \frac12$

T = X + Y ⟹ Pr [T = c] = \sum_{a \in Z} Pr [X = a] Pr [Y = c - a] .

$T = X + Y \implies \Pr[T = c] = \sum_{a \in \mathbb Z} \Pr[X = a]\Pr[Y = c - a].$

E eu poderia perfeitamente parar minha exposição aqui, sem nunca mencionar a palavra "convolução"! Mas é claro que, se você souber como é uma convolução discreta , poderá reconhecer uma na fórmula acima. E essa é uma maneira bastante avançada de afirmar o resultado elementar acima: a função de massa de probabilidade da soma de duas variáveis aleatórias com valor inteiro é a convolução discreta das funções de massa de probabilidade dos summands.

E, é claro, substituindo a soma por uma massa integral e de probabilidade por densidade de probabilidade , obtemos um resultado análogo para variáveis aleatórias distribuídas continuamente também. E esticando suficientemente a definição de uma convolução, podemos até aplicá-la a todas as variáveis aleatórias, independentemente de sua distribuição - embora nesse ponto a fórmula se torne quase uma tautologia, já que teremos apenas definido a convolução de duas distribuições de probabilidade arbitrárias sejam a distribuição da soma de duas variáveis aleatórias independentes com essas distribuições.

Mas, mesmo assim, todo esse material com convoluções e distribuições, PMFs e PDFs é realmente apenas um conjunto de ferramentas para calcular coisas sobre variáveis aleatórias. Os objetos fundamentais que nós estamos calculando coisas sobre são os próprios variáveis aleatórias, o que realmente são apenas números cujos valores não temos certeza sobre .

$U = XY$ $V = X^Y$

A = B ⊙ C ⟹ Pr [A = a] = \sum_{b, c} Pr [B = b and C = c] [a = b ⊙ c],

$A = B \odot C \implies \Pr[A = a] = \sum_{b,c} \Pr[B = b \text{ and } C = c] [a = b \odot c],$

⊙

$\odot$

[a = b ⊙ c]

$[a = b \odot c]$

[a = b ⊙ c] = {\begin{cases} 1 & if a = b ⊙ c, and \\ 0 & otherwise . \end{cases}

$[a = b \odot c] = \begin{cases}1 & \text{if } a = b \odot c, \text{ and} \\ 0 & \text{otherwise}. \end{cases}$

(A generalização desta fórmula para variáveis aleatórias não discretas é deixada como um exercício de formalismo quase inútil. O caso discreto é suficiente para ilustrar a idéia essencial, com o caso não discreto apenas adicionando um monte de complicações irrelevantes.)

Você pode verificar se essa fórmula realmente funciona, por exemplo, para adição e que, no caso especial de adicionar duas variáveis aleatórias independentes , é equivalente à fórmula de "convolução" fornecida anteriormente.

$\odot$

^{$X = 5$ $Y = 6$ $Q = 6$ $R = 15$ $S = 2.25$ $T = 11$ $U = 30$ $V = 15625$}

— Ilmari Karonen
fonte

4

Esta deve ser a resposta aceita! Muito intuitivo e claro!

— Vladislavs Dovgalecs 7/03/19

3

T = X + Y

$T = X + Y$

T

$T$

3

@Carl: ... De qualquer forma, se você deseja introduzir um símbolo especial para "adição de variáveis aleatórias", para obter consistência, também deve haver símbolos especiais para "multiplicação de variáveis aleatórias" e "divisão de variáveis aleatórias" e "exponenciação de variáveis aleatórias" e "logaritmo de variáveis aleatórias" e assim por diante. Todas essas operações são perfeitamente bem definidas em variáveis aleatórias, vistas como números com um valor incerto , mas em todos os casos o cálculo da distribuição do resultado é muito mais envolvido do que apenas o cálculo correspondente para constantes.

— Ilmari Karonen 07/0318

5

\sqrt{x + y} \neq \sqrt{x} + \sqrt{y}

$\sqrt{x + y} \ne \sqrt x + \sqrt y$

Pr [X + Y = c] \neq Pr [X = c] + Pr [Y = c]

$\Pr[X + Y = c] \ne \Pr[X = c] + \Pr[Y = c]$

3

X

$X$

Y

$Y$

Z = X / Y

$Z = X/Y$

X

$X$

Y

$Y$

Z

$Z$

7

Na verdade, acho que isso não está certo, a menos que eu esteja lhe entendendo mal.

$X$ $Y$

p (X + Y) = p (X) * p (Y)

$p(X+Y) = p(X)*p(Y)$

*

$*$

X

$X$

Y

$Y$

$X=x$ $S=X+Y$ $Y$ $x$ $X$ $S$ $p(X)$ $p(Y)$

p (S) = \int p_{Y} (S - x) p_{X} (x) d x

$p(S) = \int p_Y(S-x)p_X(x)dx$

p (S) = \int p_{X} (S - y) p_{Y} (y) d y

$p(S) = \int p_X(S-y)p_Y(y)dy$

$X$ $Y$ $X$ $Y$ $X$ $Y$ $S=X+Y$ $X$ $Y$ $X$ $Y$

— Ruben van Bergen
fonte

A soma de muitas somas é mais combinada do que uma única soma que vale a pena notar com um sinal de '+'. Minha preferência seria dizer que variáveis aleatórias se combinam por convolução.

— Carl

6

Uma convolução poderia ser chamada de uma soma de muitas somas, com certeza. Mas o que você precisa entender é que a convolução se aplica estritamente aos PDFs das variáveis que são somadas. As variáveis em si não são convoluídas. Eles são apenas adicionados um ao outro, e não há como interpretar essa adição como uma operação de convolução (portanto, a premissa básica da sua pergunta, como é declarada agora, está incorreta).

— Ruben van Bergen

4

Você está entendendo mal essa referência. Ele afirma: A distribuição de probabilidade da soma de duas ou mais variáveis aleatórias independentes é a convolução de suas distribuições individuais . Não diz que uma soma de duas variáveis aleatórias é a mesma que convolver essas variáveis. Diz que a distribuição da soma é a convolução da distribuição das variáveis individuais. Uma variável aleatória e sua distribuição são duas coisas diferentes.

— Ruben van Bergen

Claro, você pode envolver variáveis aleatórias. Mas a propriedade soma / convolução que é amplamente conhecida e discutida nesse artigo (e na minha resposta acima) não lida com convoluções de variáveis aleatórias. Trata-se especificamente de somas de variáveis aleatórias e das propriedades da distribuição dessa soma.

— Ruben van Bergen

1

("Claro, você pode envolver variáveis aleatórias". Você pode? Meu entendimento era que, para obter a função de distribuição da soma das variáveis aleatórias, você envolve as funções de massa / densidade de cada uma, muitas pessoas falam (vagamente) de distribuições em convolução, & alguma conversa (erradamente) de convolving variáveis aleatórias Desculpe a divagar, mas estou curioso)..

— Scortchi - Reintegrar Monica

6

$X$ $\omega$ $Y$ $S=X+Y$ $S$ $X$ $Y$

$S=X+Y$

$S=X + Y$ $X$ $Y$ $X + Y$ $X \ \mathrm{convoluted\ with} \ Y$ $+$ $X+Y$

$+$ $X + Y$ $X(\omega) + Y(\omega)$ $+$ $\sin(\theta)+\cos(\theta)$

[Esta resposta apenas tenta reunir sucintamente os pontos apresentados por @MartijnWeterings, @IlmariKaronen, @RubenvanBergen e @whuber em suas respostas e comentários. Eu pensei que poderia ajudar vir da direção de explicar o que é uma variável aleatória e não o que é uma convolução. Obrigado a todos!]

— Scortchi - Restabelecer Monica
fonte

(+1) por esforço. Responda muito fundo para mim entender. No entanto, isso me levou a um. Por favor, leia isso e deixe-me saber seus pensamentos.

— Carl Carl

S_{i} = X_{i} + Y_{i}

$S_i=X_i+Y_i$

i = 1, 2, 3, . . ., n - 1, n

$i=1,2,3,...,n-1,n$

X

$X$

Y

$Y$

S

$S$

\sin (θ) + \cos (ϕ)

$\sin(\theta) + \cos(\phi)$

+

$+$

\sin (θ)

$\sin(\theta)$

\sin (θ) + \cos (ϕ)

$\sin(\theta) + \cos(\phi)$

1

@Carl: (1) Se um biólogo modela o não. ovos postos no ninho de um pato como um Poisson rv, eles não estão realmente considerando a possibilidade de uma infinidade de ovos. Se você tem uma pergunta sobre o papel de conjuntos infinitos em Matemática, faça-a em Matemática ou Filosofia SE. (2) Embora bastante padrão, a nomenclatura pode realmente enganar; daí a minha resposta.

— Scortchi - Restabelecer Monica

3

Em resposta ao seu "Aviso", hum, ... não.

$X$ $Y$ $Z$ $Z = X+Y$ $Z$ $X$ $Y = Z - X$

P (Z = z) = \int P (X = x) P (Y = z - x) d x .

$P(Z = z) = \int P(X = x) P(Y = z - x) \mathrm{d}x \text{.}$

— Eric Towers
fonte

Aviso foi embora. (+1) a você por cuidar.

— Carl

2

O motivo é o mesmo que produtos de funções de energia estão relacionados a convoluções. A convolução sempre aparece naturalmente, se você combinar com objetos que possuem um intervalo (por exemplo, os poderes de duas funções de poder ou o intervalo dos PDFs) e onde o novo intervalo aparece como a soma dos intervalos originais.

$x + y$

Se você olhar para a fórmula da convolução (para valores discretos, só porque acho mais fácil ver lá)

$(f * g)(n) = \sum_k f(k)g(n-k)$

$n-k$ $k$ $n$

Para funções de energia, obtemos

$(a_0+a_1x^1+a_2x^2+\ldots+a_nx^n)\cdot(b_0+b_1x^1+b_2x^2+\ldots+b_mx^m)=\sum_{i=0}^{m+n}\sum_k a_k*b_{i-k}x^i$

que tem o mesmo padrão de combinar expoentes altos da esquerda com expoentes baixos da direita ou vice-versa, para obter sempre a mesma soma.

Depois de ver, o que a convolução está realmente fazendo aqui, ou seja, quais termos estão sendo combinados e por que devem, portanto, aparecer em muitos lugares, a razão para a convolução de variáveis aleatórias deve se tornar bastante óbvia.

— LiKao
fonte

2

$n$

De Grinstead CM, Snell JL. Introdução à probabilidade: American Mathematics Soc .; 2012. Ch. 7, Exercício 1:

$X$ $Y$ $f_X (x)$ $f_Y (y)$ $X + Y$ $f_X (x)$ $f_Y (y)$

$Z$ $(X, Y )$ $Z$ $f_X (x)f_Y (y)$ $X$ $Y$ $X + Y ≤ z$ $Z$

F_{Z} (z) = P (X + Y \leq z) = \int_{(x, y) : x + y \leq z} f_{X} (x) f_{Y} (y) d y d x

$F_Z(z)=\mathrm{P}(X+Y\leq z)= \int_{(x,y):x+y\leq z} f_X(x)\,f_Y (y)\,dy\,dx$

= \int_{- \infty}^{\infty} f_{X} (x) [\int_{y \leq z - x} f_{Y} (y) d y] d x = \int_{- \infty}^{\infty} f_{X} (x) [F_{Y} (z - x)] d x .

$= \int_{-\infty}^\infty f_X(x)\left[\int_{y\,\leq \,z-x} f_Y(y)\,dy \right] dx= \int_{-\infty}^\infty f_X(x)\left[F_Y(z−x)\right]\,dx.$

$z$ $z$

f_{Z} (z) = \frac{d F_{Z} (z)}{d z} = \int_{- \infty}^{\infty} f_{X} (x) f_{Y} (z - x) d x .

$f_Z(z) = \frac{dF_Z(z)}{dz} = \int_{-\infty}^\infty f_X(x)\,f_Y ( z-x)\,dx.$

$x$ $x$ $x$ $x1+x2$ $x$ -valores. Quando ocorrem várias repetições desse tipo de adição, a densidade resultante das realizações (densidade do resultado) das somas tende ao PDF da convolução das densidades individuais. A perda geral de informações resulta em suavização (ou dispersão de densidade) da convolução (ou somas) em comparação com os PDFs (ou summands) constituintes. Outro efeito é a mudança de localização da convolução (ou somas). Observe que as realizações (resultados, instâncias) de vários elementos fornecem apenas elementos esparsos preenchendo (exemplificando) um espaço de amostra contínuo.

$10/9$ $2$ $1/4$

Como visto na figura, a adição das explicações summands parece ser plausível, pois as distribuições de dados suavizadas pelo kernel (vermelho) no painel esquerdo são semelhantes às funções de densidade contínua e sua convolução no painel direito.

— Carl
fonte

@ Whuber Finalmente, acho que entendo. A soma é de eventos aleatórios. Dê uma olhada na minha explicação e me diga se está claro agora, por favor.

— Carl

3

Ajuda a ter cuidado com o idioma. Eventos são conjuntos . Raramente são conjuntos de números (é por isso que seus elementos são denominados "resultados"). Eventos não adicionam - os valores de variáveis aleatórias adicionam. A questão sobre "impressionantemente complicado" é apenas uma distração. De fato, se você quiser chegar ao cerne da questão, verifique se um dos pedidos no seu exemplo é uma variável aleatória com média zero, porque a média afeta uma mudança geral no local. Você quer entender intuitivamente o que a convolução faz de outra maneira que mudar a localização.

— whuber

@whuber Obrigado útil. Somente na estatística é um resultado um único elemento de um espaço de amostra. Para o resto de nós, um resultado é o resultado de um evento. Suavização E mudança. O que mostro é o exemplo menos confuso de muitos, pois reduz a colisão das parcelas sobrepostas.

— 1212 Carl

1

{,}

$\{,\}$

A

$A$

B

$B$

| A |

$|A|$

| B | .

$|B|.$

1

Acho que detecto uma fonte potencial de confusão nessas edições em andamento. Como levaria muito tempo para explicar em um comentário, anexei uma edição à minha resposta, na esperança de que isso ajude um pouco. De fato, a primeira linha original da minha resposta foi enganosa por causa disso, então eu também a corrigi com desculpas.

— whuber

1

Essa pergunta pode ser antiga, mas eu gostaria de fornecer outra perspectiva. Ele se baseia em uma fórmula para uma mudança na variável em uma densidade de probabilidade conjunta. Pode ser encontrado em Notas da aula: Probabilidade e processos aleatórios no KTH, 2017 Ed. (Koski, T., 2017, p. 67), que se refere a uma prova detalhada em Analysens Grunder, del 2 (Neymark, M., 1970, p. 148-168):

$\mathbf{X} = (X_1, X_2,...,X_m)$ $f_\mathbf{X}(x_1,x_2,...,x_m)$ $\mathbf{Y}=(Y_1, Y_2,...,Y_m)$

Y_{i} = g_{i} (X_{1}, X_{2}, . . ., X_{m}), i = 1, 2, . . ., m

$Y_i = g_i(X_1,X_2,...,X_m), \hspace{2em}i=1,2,...,m$

$g_i$ $(g_1,g_2,...,g_m)$

X_{i} = h_{i} (Y_{1}, Y_{2}, . . ., Y_{m}), i = 1, 2, . . ., m

$X_i = h_i(Y_1,Y_2,...,Y_m),\hspace{2em}i=1,2,...,m$

$\mathbf{Y}$

f_{Y} (y_{1}, y_{2}, . . ., y_{m}) = f_{X} (h_{1} (x_{1}, x_{2}, . . ., x_{m}), h_{2} (x_{1}, x_{2}, . . ., x_{m}), . . ., h_{m} (x_{1}, x_{2}, . . ., x_{m})) | J |

$f_\mathbf{Y}(y_1,y_2,...,y_m) = f_\mathbf{X}(h_1(x_1,x_2,...,x_m),h_2(x_1,x_2,...,x_m),...,h_m(x_1,x_2,...,x_m))|J|$

$J$

J = | \begin{matrix} \frac{\partial x_{1}}{\partial y_{1}} & \frac{\partial x_{1}}{\partial y_{2}} & . . . & \frac{\partial x_{1}}{\partial y_{m}} \\ \frac{\partial x_{2}}{\partial y_{1}} & \frac{\partial x_{2}}{\partial y_{2}} & . . . & \frac{\partial x_{2}}{\partial y_{m}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \frac{\partial x_{m}}{\partial y_{1}} & \frac{\partial x_{m}}{\partial y_{2}} & . . . & \frac{\partial x_{m}}{\partial y_{m}} \end{matrix} |

$J = \begin{vmatrix} \frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} & ... & \frac{\partial x_1}{\partial y_m}\\ \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} & ... & \frac{\partial x_2}{\partial y_m}\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial x_m}{\partial y_1} & \frac{\partial x_m}{\partial y_2} & ... & \frac{\partial x_m}{\partial y_m}\\ \end{vmatrix}$

$X_1 + X_2$

$\mathbf{X} = (X_1,X_2)$ $f_\mathbf{X}(x_1,x_2)$ $\mathbf{Y}=(Y_1,Y_2)$

Y_{1} = g_{1} (X_{1}, X_{2}) = X_{1} + X_{2} Y_{2} = g_{2} (X_{1}, X_{2}) = X_{2} .

$Y_1 = g_1(X_1,X_2) = X_1 + X_2\\ Y_2 = g_2(X_1,X_2) = X_2.$

O mapa inverso é então

X_{1} = h_{1} (Y_{1}, Y_{2}) = Y_{1} - Y_{2} X_{2} = h_{2} (Y_{1}, Y_{2}) = Y_{2} .

$X_1 = h_1(Y_1,Y_2) = Y_1 - Y_2\\ X_2 = h_2(Y_1,Y_2) = Y_2.$

$X_1$ $X_2$ $\mathbf{Y}$

\begin{aligned} f_{Y} (y_{1}, y_{2}) & = f_{X} (h_{1} (y_{1}, y_{2}), h_{2} (y_{1}, y_{2})) | J | \\ = f_{X} (y_{1} - y_{2}, y_{2}) | J | \\ = f_{X_{1}} (y_{1} - y_{2}) \cdot f_{X_{2}} (y_{2}) \cdot | J | \end{aligned}

$\begin{split} f_\mathbf{Y}(y_1,y_2) &= f_\mathbf{X}(h_1(y_1,y_2),h_2(y_1,y_2))|J|\\ & = f_\mathbf{X}(y_1 - y_2, y_2)|J|\\ & = f_{X_1}(y_1 - y_2) \cdot f_{X_2}(y_2) \cdot |J| \end{split}$

$J$

J = | \begin{matrix} \frac{\partial x_{1}}{\partial y_{1}} & \frac{\partial x_{1}}{\partial y_{2}} \\ \frac{\partial x_{2}}{\partial y_{1}} & \frac{\partial x_{2}}{\partial y_{2}} \end{matrix} | = | \begin{matrix} 1 & - 1 \\ 0 & 1 \end{matrix} | = 1

$J = \begin{vmatrix} \frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2}\\ \frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} \end{vmatrix} = \begin{vmatrix} 1 & -1\\ 0 & 1 \end{vmatrix} = 1$

$Y_1 = X_1 + X_2$

\begin{aligned} f_{Y_{1}} & = \int_{- \infty}^{\infty} f_{Y} (y_{1}, y_{2}) d y_{2} \\ = \int_{- \infty}^{\infty} f_{X} (h_{1} (y_{1}, y_{2}), h_{2} (y_{1}, y_{2})) | J | d y_{2} \\ = \int_{- \infty}^{\infty} f_{X_{1}} (y_{1} - y_{2}) \cdot f_{X_{2}} (y_{2}) d y_{2} \end{aligned}

$\begin{split} f_{Y_1} &= \int_{-\infty}^\infty f_\mathbf{Y}(y_1,y_2) dy_2\\ &= \int_{-\infty}^\infty f_\mathbf{X}(h_1(y_1,y_2),h_2(y_1,y_2))|J| dy_2\\ &= \int_{-\infty}^\infty f_{X_1}(y_1 - y_2) \cdot f_{X_2}(y_2) dy_2 \end{split}$

que é onde encontramos sua convolução: D

— Mossmyr
fonte

0

Expressões gerais para as somas de n variáveis aleatórias contínuas são encontradas aqui:

https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0216422

"Modelos de vários estágios para a falha de sistemas complexos, desastres em cascata e o aparecimento de doenças"

Para variáveis aleatórias positivas, a soma pode ser simplesmente escrita em termos de um produto das transformadas de Laplace e o inverso de seu produto. O método é adaptado de um cálculo que apareceu no livro didático ET Jaynes "Probability Theory".

— Anthony
fonte

Bem vindo ao nosso site. Você pode achar interessante a discussão em stats.stackexchange.com/questions/72479 , bem como o artigo Moschopolous que ela menciona.

— whuber

Por que a soma de duas variáveis ​​aleatórias é uma convolução?

Editar

Referências

Notação, maiúscula e minúscula

Mistura de variáveis ​​-> soma dos pdfs

Soma das variáveis ​​-> convolução dos pdfs

Exemplo de imagem

Por que a soma de duas variáveis aleatórias é uma convolução?

Mistura de variáveis -> soma dos pdfs

Soma das variáveis -> convolução dos pdfs