Perguntas com a marcação «mutual-information»

Quero quantificar o relacionamento entre duas variáveis, A e B, usando informações mútuas. A maneira de calculá-lo é impedindo as observações (veja o código Python de exemplo abaixo). No entanto, quais fatores determinam qual número de posições é razoável? Eu preciso que a computação seja rápida, então não posso simplesmente …

10 information-theory  mutual-information  binning 

Estou tentando entender a forma normalizada de informações mútuas pontuais. n p m i = p m i ( x , y)l o g( p ( x , y) ))npmEu=pmEu(x,y)euog(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Por que a probabilidade conjunta de log normaliza as informações mútuas pontuais entre [-1, 1]? As informações mútuas …

9 entropy  information-theory  mutual-information 

Estou tendo problemas para criar alguma intuição sobre entropia conjunta. = incerteza na distribuição conjunta ; = incerteza em ; = incerteza em .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Se H (X) for alto, a distribuição será mais incerta e, se você souber o resultado dessa distribuição, terá mais informações! Então H (X) também quantifica …

9 information-theory  mutual-information 

Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Qual é a diferença entre correlação cruzada e informações mútuas. Que tipo de problemas podem ser resolvidos usando essas medidas e quando é apropriado usar um sobre o outro. Obrigado pelos comentários. Para esclarecer, a pergunta é motivada por um interesse na análise de danos, em vez de na análise …

9 cross-correlation  mutual-information