Perguntas com a marcação «kullback-leibler»

Considere o Bayesian posterior . Assintoticamente, seu máximo ocorre na estimativa MLE , que apenas maximiza a probabilidade .θ∣Xθ∣X\theta\mid Xθ^θ^\hat \thetaargminθfθ(X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X) Todos esses conceitos - priores Bayesianos, maximizando a probabilidade - parecem superprincípios e nada arbitrários. Não há um log à vista. No entanto MLE minimiza a divergência KL …

9 bayesian  maximum-likelihood  kullback-leibler 

Quero estimar a divergência KL entre duas distribuições contínuas feeg. No entanto, não posso anotar a densidade para f ou g. Eu posso amostrar a partir de feg através de algum método (por exemplo, cadeia de markov monte carlo). A divergência KL de f para g é definida assim DKeu( …

9 kullback-leibler 

O índice de estabilidade populacional quantifica a alteração de uma distribuição de uma variável comparando amostras de dados em dois períodos de tempo. É muito comumente usado para medir mudanças nas pontuações. É calculado da seguinte forma: 1) A amostra do período base é discretizada. Geralmente é particionado em deciles …

9 distributions  kullback-leibler 

Eu tenho as seguintes séries temporais obtido usando os dados postados abaixo. Para um tamanho de janela deslizante de 10, estou tentando calcular a divergência KL entre o PMF de valores na janela deslizante atual e o PMF da história com o objetivo final de traçar o valor da divergência …

9 time-series  probability  multivariate-analysis  histogram  kullback-leibler 

Eu entendo onde a etapa E acontece no algoritmo (conforme explicado na seção de matemática abaixo). Na minha opinião, a principal engenhosidade do algoritmo é o uso da desigualdade de Jensen para criar um limite inferior à probabilidade do log. Nesse sentido, aceitar isso Expectationé simplesmente feito para reformular a …

8 maximum-likelihood  optimization  expectation-maximization  latent-variable  kullback-leibler 

Suponha que você tenha uma variável aleatória discreta com função de massa de probabilidade no suporte . Que função tal que maximiza Para evitar lidar com casos extremos, assuma .XXXp(x)=P(X=x)p(x)=P(X=x)p(x) = P(X=x)0,…,n0,…,n0,\ldots,nq(x)≥0q(x)≥0q(x)\ge 0∑nx=0q(x)=1∑x=0nq(x)=1\sum_{x=0}^n q(x) = 1E(log[q(X−1)+q(X)+q(X+1)])?E(log⁡[q(X−1)+q(X)+q(X+1)])? E(\log[q(X-1)+q(X)+q(X+1)])? P(X=0)=P(X=n)=0P(X=0)=P(X=n)=0P(X=0)=P(X=n)=0 Perguntas relacionadas: Eu acredito que o que maximiza a expectativa acima também …

7 probability  optimization  expected-value  kullback-leibler