Papel da função Dirac em filtros de partículas

Aproximações de partículas para densidades de probabilidade são frequentemente introduzidas como uma soma ponderada das funções Dirac

$$p(x) \approx \sum_{i=1}^N \omega^i \delta(x-x^i)$$

com os pesos

$$\omega^i \propto \frac{p(x^i)}{q(x^i)}$$

normalizado de modo que eles somam à unidade; onde é a densidade de importância. Eu entendo que a função Dirac se torna infinitamente grande no ponto , que é e que é zero em qualquer outro lugar, ou seja, . Além disso, entendo que a função Dirac integrada sobre o ponto de massa assume o valor da unidade.$q(\cdot)$$p$$\delta(p) = \infty$$\delta(x) = 0 ~\forall x \neq p$

Minhas perguntas são:

1. Qual é a relação entre o suporte da aproximação de partículas e a função Dirac?
2. Por que um sinal de somatório usado ao avaliar só pode produzir um valor de 0 ou infinito? Isso não deveria ser uma integral?$\delta$
3. Como a noção de suporte de uma função pode ser estendida a um conjunto de pontos (por exemplo, ), que não é uma função em si?$x_t^{(i)}$
4. Como pode uma representação de uma função de densidade de probabilidade surgir de uma soma ponderada de s que, por si só, recebem apenas valores de zero ou infinito?$\delta(\cdot)$

Obrigado por quaisquer esclarecimentos que você possa fornecer.

O @ user20160 já deu uma boa resposta para suas (1) - (3) perguntas, mas a última parece ainda não estar totalmente respondida.

4. Como pode uma representação de uma função de densidade de probabilidade surgir de uma soma ponderada de s que, por si só, recebem apenas valores de zero ou infinito?$\delta(\cdot)$

Deixe-me começar citando a Wikipedia, pois ela fornece uma descrição bastante clara neste caso (observe os negritos que adicionei):

O delta Dirac pode ser pensado livremente como uma função na linha real que é zero em qualquer lugar, exceto na origem, onde é infinito,

$$\delta(x) = \begin{cases} +\infty, & x = 0 \\ 0, & x \ne 0 \end{cases}$$

e que também é restrito a satisfazer a identidade

$$\int_{-\infty}^\infty \delta(x) \, dx = 1$$

Essa é apenas uma caracterização heurística. O delta Dirac não é uma função no sentido tradicional, pois nenhuma função definida nos números reais possui essas propriedades . A função delta do Dirac pode ser rigorosamente definida como uma distribuição ou como uma medida.

Além disso, a Wikipedia fornece uma definição mais formal e muitos exemplos trabalhados, então eu recomendo que você leia o artigo inteiro. Deixe-me citar um exemplo:

Na teoria das probabilidades e nas estatísticas, a função delta Dirac é frequentemente usada para representar uma distribuição discreta, ou uma distribuição parcialmente discreta e parcialmente contínua, usando uma função de densidade de probabilidade (que normalmente é usada para representar distribuições totalmente contínuas). Por exemplo, a função de densidade de probabilidade de uma distribuição discreta consistindo em pontos , com probabilidades correspondentes , pode ser escrita como$f(x)$$x = \{x_1, \dots, x_n\}$$p_1, \dots, p_n$

$$f(x) = \sum_{i=1}^n p_i \delta(x-x_i)$$

O que esta equação está dizendo é que somamos distribuições contínuas que têm toda a sua massa em torno de 's. Se você tentar imaginar distribuições em termos de funções de distribuição cumulativa, será necessário$n$$\delta_{x_i} = \delta(x-x_i)$$x_i$$\delta_{x_i}$

$$F_{x_i}(x) = \begin{cases} 0 & \text{if } x < x_i \\ 1 & \text{if } x \ge x_i \end{cases}$$

Para que possamos reescrever a densidade anterior na função de distribuição cumulativa

$$F(x) = \sum_{i=1}^n p_i F_{x_i}(x) = \sum_{i=1}^n p_i \mathbf{1}_{x \ge x_i}$$

onde é uma função indicadora apontando para . Observe que essa é basicamente uma distribuição categórica disfarçada. Além disso, você pode definir o delta do Dirac em termos de função arbitrária$\mathbf{1}_{x \ge x_i}$$x_i$

$$\int_{-\infty}^\infty f(x) \delta(x-x_i) dx = f(x_i)$$

portanto, "funciona" como versão contínua da função do indicador.

A mensagem de retirada é que o Dirac delta não é uma função padrão. Também não é igual ao infinito em zero - se fosse, seria inútil porque o infinito não é um número; portanto, não podemos realizar nenhuma operação aritmética sobre ele. Você pode pensar no delta do Dirac simplesmente como uma função indicadora que aponta para algum que é contínuo e se integra à unidade. Nenhuma magia negra envolvida, é apenas uma maneira de hackear o cálculo para lidar com valores discretos.$x_i$

Qual é a relação entre o suporte da aproximação de partículas e a função Dirac?

A distribuição é aproximada como uma soma ponderada de funções delta. Portanto, o suporte da aproximação é a união do suporte das funções delta. Cada função delta é zero em qualquer lugar, exceto por um único ponto ( ), onde seu valor é infinito. Portanto, o suporte de cada função delta é esse ponto único e o suporte da distribuição aproximada é o conjunto de pontos$x_t^{(i)}$$\left \{ x_t^{(i)} \right \}_{i=1}^N$

Por que um sinal de somatório usado ao avaliar só pode produzir um valor de 0 ou infinito? Isso não deveria ser uma integral?$\delta$

A soma existe para expressar a distribuição como uma soma ponderada de funções delta. Isto está apenas dizendo: "coloque uma função delta em cada ponto e dimensione sua amplitude em ." A distribuição é contínua, portanto, seu valor em cada ponto é a densidade de probabilidade , não a probabilidade. Integraríamos a densidade em alguma região para obter a probabilidade associada. A integral de cada função delta escalada será . Isso significa que a probabilidade de cada ponto é , e a probabilidade de qualquer outro valor é 0.$x_t^{(i)}$$\pi_t^{(i)}$$\pi_t^{(i)}$$x_t^{(i)}$$\pi_t{(i)}$

Aqui está um exemplo de aproximação de uma distribuição contínua usando funções delta. A distribuição é uma distribuição gaussiana. é aproximado usando a distribuição , que é uma soma de 50 funções delta em escala. Os locais das funções delta são amostrados de .$g$$g$$f$$g$

A olho nu, os PDFs não parecem muito semelhantes porque não tem uma forma agradável que podemos ver. Porém, as funções delta estão mais próximas em regiões onde tem maior densidade. Quando começamos a usar integrais, a semelhança se torna mais aparente. Por exemplo, os CDFs são visivelmente semelhantes. A média, variância etc. também serão semelhantes. A qualidade da aproximação melhorará à medida que o número de funções de amostras / delta aumentar.$f$$g$

Como a noção de suporte de uma função pode ser estendida a um conjunto de pontos (por exemplo, ), que por si só não é uma função?$x^{(i)}_t$

Suporte é um conceito definido para funções, não para conjuntos. O suporte de uma função é o conjunto de entradas para as quais a saída é diferente de zero. Como acima, se definir uma função como uma soma de funções delta localizados em cada ponto em um conjunto , o apoio de que a função é . Podemos também considerar a função de indicador de . Diga é um subconjunto de um conjunto maior (por exemplo, os números reais). A função indicadora é definido em . Leva um valor de se , caso contrário, . Assim, o apoio da função de indicador é .$S$$S$$S$$S$$L$$I_S(x)$$L$$1$$x \in S$$0$$S$

Como pode uma representação de uma função de densidade de probabilidade surgir de uma soma ponderada de δ (⋅) s que, por si só, recebem apenas valores de zero ou infinito?

Pense na função delta de Dirac como uma ponte entre valores discretos e contínuos. Dirac veio com eles para simplificar sua matemática, aplicando ferramentas matemáticas contínuas em quantidades discretas. Penso no delta de Dirac exatamente nas mesmas situações em que é muito complicado lidar com valores discretos.

Portanto, no seu exemplo, alguém queria ter a função de densidade de probabilidade. Ótimo! Mas o problema é que suas entradas são observações discretas. Então, esse cara sabia sobre a função de Dirac e a conectou:

$$p(x) \approx \sum_{i=1}^N \omega^i \delta(x-x^i)$$

Para entender essa expressão, lembre-se de como o delta de Dirac é definido:

$$\int f(x)\delta(x-x_0)dx=f(x_0)$$ $$\delta(x)\equiv 0, \forall x\ne 0$$

Note, que é não definido da maneira que você descreveu:

A função Dirac se torna infinitamente grande em um ponto pp, que é δ (p) = ∞ e que é zero em outro lugar,

Essa não é a maneira correta de pensar em uma função Dirac. Sempre pense nele como uma integral acima, cujo objetivo é vincular valor discreto em à expressão contínua (integral) .$x_0$$\int \dots dx$

Agora, aplique uma integral à sua equação:

$$\int p(x) dx \approx \int \left(\sum_{i=1}^N \omega^i \delta(x-x^i)\right) dx= \sum_i\omega_i$$

Se você não tivesse o delta do Dirac e aplicasse a integral a uma soma, obteria uma integral indefinida:

$$\int \left(\sum_{i=1}^N \omega^i \right) dx=\infty$$

Resumindo, o objetivo delta de Dirac é trazer quantidades discretas para o espaço contínuo, e a definição de demonstra exatamente isso. Constrói a função de densidade contínua a partir de valores discretos.$p(x)$$N$

Novamente, é enganoso pensar na função Dirac como "infinito em e zero em todos os lugares". Esta descrição não traz nada de útil em termos de intuição. Largue.$x_0$

Eis como o próprio Diract definiu sua função em " Os Princípios da Mecânica Quântica ":

É assim que ele descreve o objetivo da função, observe como ele continua repetindo a palavra "integrando" e enfatiza "conveniência":

Penso que suas confusões são todas resultado de pensar no delta do Dirac como uma função. Não é (consulte o artigo da wikipedia https://en.wikipedia.org/wiki/Dirac_delta_function ).

A função delta só faz sentido como um objeto matemático quando aparece dentro de uma integral. Nesta perspectiva, o delta do Dirac geralmente pode ser manipulado como se fosse uma função.

Como o @Tim citou, a função delta do Dirac pode ser rigorosamente definida como uma distribuição ou como uma medida.

Essa é apenas uma caracterização heurística. O delta Dirac não é uma função no sentido tradicional, pois nenhuma função definida nos números reais possui essas propriedades. A função delta do Dirac pode ser rigorosamente definida como uma distribuição ou como uma medida.

Eu acho que é mais fácil pensar nisso como uma medida (ou seja, basicamente algo contra o qual você se integra). Então, dada uma função f,

$\mu(f):= \int_{-\infty}^{\infty} f(x) \ d\mu(x)$

se você tem uma densidade p (x), isso induz uma medida :$P$

$P(f)= \int_{-\infty}^{\infty} f (x)\ p(x)dx$

e a função delta induz uma medida tal que $\nu$$\nu(f)=f(0)$

Portanto, a notação de função apenas ajuda, por exemplo, na adição de medidas (Q2). ou seja, o que realmente está dizendo é: onde$\mu(f):= \sum_{i=1}^{n} \nu_{x_i}(f)$

$\nu_{x_i}(f)=f(x_i)$

Este ponto de vista também esclarece a questão do suporte. o suporte é definido usando funções arbitrárias: todas as funções f sem suporte em zero terão = 0 Suporte a uma distribuição$\mu(f)$

Como mencionado no artigo da wikipedia, a função delta pode ser vista construtivamente como um limite de medidas induzidas por gaussianos com média em zero e desvio padrão de fuga ( ) (denotando pdf gaussiano como )$\sigma$$g(x;\mu;\sigma)$

$\nu(f) = \lim_{\sigma\rightarrow 0} \int ^\infty _{-\infty} f(x) g(x;0,\sigma) dx$