Perguntas com a marcação «kullback-leibler»

Optando por parametrizar a distribuição gama Γ(b,c)Γ(b,c)\Gamma(b,c) pelo pdf g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} A divergência de Kullback-Leibler entreΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)eΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)é dada por [1] como KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Estou supondo que Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) …

15 kullback-leibler  gamma-distribution  exponential-family 

Estou usando o KL Divergence como uma medida de dissimilaridade entre 2 e .p . m . f.p.m.f.p.m.f. QPPPQQQ =-ΣP(Xi)ln(Q(Xi))+ΣP(Xi)ln(P(Xi))DKeu( P| | Q)= ∑i = 1Nem( PEuQEu) PEuDKeu(P||Q)=∑Eu=1Nem⁡(PEuQEu)PEuD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i = - ∑ P( XEu) l n( Q ( XEu) ) + ∑ P( XEu) …

15 distributions  distance  kullback-leibler 

Estou comparando duas distribuições com a divergência de KL, que me retorna um número não padronizado que, de acordo com o que li sobre essa medida, é a quantidade de informações necessárias para transformar uma hipótese na outra. Eu tenho duas perguntas: a) Existe uma maneira de quantificar uma divergência …

14 distributions  kullback-leibler  information-geometry 

Vou usar a divergência KL no meu código python e recebi este tutorial . Nesse tutorial, implementar a divergência de KL é bastante simples. kl = (model * np.log(model/actual)).sum() Pelo que entendi, a distribuição de probabilidade de modele actualdeve ser <= 1. Minha pergunta é: qual é o limite máximo …

14 machine-learning  distance  kullback-leibler 

Eu sei que a divergência KL não é simétrica e não pode ser estritamente considerada uma métrica. Se sim, por que é usado quando o JS Divergence satisfaz as propriedades necessárias para uma métrica? Existem cenários em que a divergência de KL pode ser usada, mas não a JS Divergence …

14 probability  distributions  kullback-leibler  metric 

Se p(x)p(x)p(x) é uma distribuição de probabilidade com valores diferentes de zero em [0,+∞)[0,+∞)[0,+\infty) , para que tipo (s) de p(x)p(x)p(x) existe uma constante c>0c>0c\gt 0 tal que ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2para todos os0<ϵ<10<ϵ<10\lt\epsilon\lt 1? A desigualdade acima é na verdade uma divergência de Kullback-Leibler entre a distribuição p(x)p(x)p(x) …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Eu não sou um matemático. Eu pesquisei na Internet sobre KL Divergence. O que aprendi é que a divergência KL mede as informações perdidas quando aproximamos a distribuição de um modelo em relação à distribuição de entrada. Eu já vi isso entre duas distribuições contínuas ou discretas. Podemos fazê-lo entre …

12 distributions  mathematical-statistics  kullback-leibler 

Já vi em alguns momentos o uso da derivada Radon-Nikodym de uma medida de probabilidade em relação a outra, principalmente na divergência de Kullback-Leibler, onde é a derivada da medida de probabilidade de um modelo para algum parâmetro arbitrário em relação ao parâmetro real :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Onde ambas são …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

O mgcvpacote para Rpossui duas funções para ajustar as interações do produto tensorial: te()e ti(). Entendo a divisão básica do trabalho entre os dois (ajustando uma interação não linear versus decompondo essa interação em efeitos principais e uma interação). O que não entendo é o porquê te(x1, x2)e ti(x1) + …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Estou executando uma simulação rápida para comparar diferentes métodos de cluster e atualmente enfrenta um problema ao tentar avaliar as soluções de cluster. Conheço várias métricas de validação (muitas encontradas em cluster.stats () em R), mas presumo que sejam melhor utilizadas se o número estimado de clusters for igual ao …

11 clustering  kullback-leibler  gaussian-mixture 

Tentei implementar uma estimativa numérica da divergência Kullback-Leibler para duas amostras. Para depurar a implementação, extrair as amostras de duas distribuições normais e .N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Para uma estimativa simples, gerei dois histogramas e tentei aproximar numericamente a integral. Fiquei preso ao lidar com aquelas partes do histograma …

10 estimation  intuition  kullback-leibler  numerics 

Eu tenho três conjuntos de dados X, Y e Z. Cada conjunto de dados define a frequência de ocorrência de um evento. Por exemplo: Conjunto de dados X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 e assim por diante .. Conjunto de dados Y: E1: …

10 kullback-leibler 

Na minha pesquisa, encontrei o seguinte problema geral: tenho duas distribuições e no mesmo domínio e um grande (mas finito) número de amostras dessas distribuições. As amostras são distribuídas de forma independente e idêntica a partir de uma dessas duas distribuições (embora as distribuições possam estar relacionadas: por exemplo, pode …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Estou implementando um VAE e notei duas implementações diferentes on-line da divergência simplificada univariada de KL gaussiana. A divergência original conforme aqui é Se assumirmos que nosso prior é uma unidade gaussiana, ou seja, e , isso simplifica para E aqui é onde está minha confusão. Embora eu tenha encontrado …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Este é apenas um exemplo que encontrei várias vezes, portanto não tenho dados de amostra. Executando um modelo de regressão linear em R: a.lm = lm(Y ~ x1 + x2) x1é uma variável contínua. x2é categórico e possui três valores, por exemplo, "Baixo", "Médio" e "Alto". No entanto, a saída …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction