Perguntas com a marcação «entropy»

Eu implementei a seguinte função para calcular a entropia: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Resultado: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in …

11 mathematical-statistics  python  entropy 

A chuva nunca estuda, por isso ela é completamente ignorante durante o meio do período, mesmo que consistindo apenas de perguntas Sim / Não. Felizmente, o professor de Rain permite que ela retome o mesmo intermediário quantas vezes quiser, mas ele apenas reporta a pontuação, para que Rain não saiba …

11 probability  distributions  self-study  entropy  decision-theory 

Esta publicação no KDnuggets citando a publicação de John Langford afirma que a entropia e as informações mútuas quando usadas como medidas de erro podem levar ao sobreajuste. Você poderia entrar em mais detalhes sobre isso?

11 machine-learning  error  overfitting  entropy 

Uma das questões importantes que os meteorologistas enfrentam é se a série fornecida pode ser prevista ou não? Eu me deparei com um artigo intitulado " Entropia como um indicador prioritário de previsibilidade ", de Peter Catt, que usa Entropia aproximada (ApEn) como uma medida relativa para determinar uma determinada …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Tentando entender a relação entre entropia cruzada e perplexidade. Em geral, para um modelo M , Perplexidade (M) = 2 ^ entropia (M) . Essa relação vale para todos os n-gramas diferentes, como unigrama, bigram etc.?

10 natural-language  entropy  perplexity 

Observei que Caffe (uma estrutura de aprendizado profundo) usava a Softmax Loss Layer SoftmaxWithLoss como camada de saída para a maioria das amostras do modelo . Até onde eu sei, a camada Softmax Loss é a combinação de Camada Multinomial de Perda Logística e Camada Softmax . De Caffe, eles …

9 multinomial  entropy  sums-of-squares  softmax 

Estou tentando entender a forma normalizada de informações mútuas pontuais. n p m i = p m i ( x , y)l o g( p ( x , y) ))npmEu=pmEu(x,y)euog(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Por que a probabilidade conjunta de log normaliza as informações mútuas pontuais entre [-1, 1]? As informações mútuas …

9 entropy  information-theory  mutual-information 

Pergunta curta: por que isso é verdade? Pergunta longa: Muito simplesmente, estou tentando descobrir o que justifica essa primeira equação. O autor do livro que estou lendo (contexto aqui, se você quiser, mas não é necessário), afirma o seguinte: Devido à suposição de quase gaussianidade, podemos escrever: p0(ξ)=Aϕ ( ξ)e …

9 probability  normal-distribution  entropy  maximum-entropy 

Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Saudações, Atualmente, estou fazendo o seguinte em R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Recorte de summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 …

9 r  time-series  data-visualization  entropy 

Eu tenho uma pergunta que me ocupa por um tempo. O teste de entropia é frequentemente usado para identificar dados criptografados. A entropia atinge seu máximo quando os bytes dos dados analisados ​​são distribuídos uniformemente. O teste de entropia identifica dados criptografados, porque esses dados têm uma distribuição uniforme, como …

8 distributions  hypothesis-testing  chi-squared  entropy  compression 

"Entropia" captura aproximadamente o grau de "informação" em uma distribuição de probabilidade. Para distribuições discretas, há uma interpretação muito mais exata: A entropia de uma variável aleatória discreta é um limite inferior ao número esperado de bits necessários para transferir o resultado da variável aleatória. Mas para uma variável aleatória …

7 entropy  information-theory 

Digamos, (com ) tem uma densidade . O que podemos dizer sobre a distribuição de X∈RnX∈RnX \in \mathbb{R}^nn > 1n>1n > 1fX( X )fX(x)f_X(x)Y= - logfX( X) ?Y=−log⁡fX(X)? Y = -\log f_X(X)?

7 distributions  mathematical-statistics  data-transformation  entropy 

Deixei XXXser uma variável aleatória que aceita valores em um conjunto . A distribuição de não é uniforme, mas existe um subconjunto que é "uniforme": todos os eventos em ocorrem com igual probabilidade.XX\mathcal{X}XXXA∈XA∈XA\in\mathcal{X}AAA Podemos relacionar a entropia de com o tamanho do conjunto ? Intuitivamente, parece que deveríamos poder dizer …

7 entropy  information-theory 

Dada uma proporção e seu erro padrão, que premissa distributiva minimiza suposições / maximiza entropia? É o beta (e posso usar o método dos momentos para estimar seus parâmetros)? Ou alguma outra coisa?

7 distributions  proportion  entropy  beta-distribution  maximum-entropy