Perguntas com a marcação «entropy»

A entropia de Shannon é o negativo da soma das probabilidades de cada resultado multiplicado pelo logaritmo de probabilidades de cada resultado. Que finalidade o logaritmo serve nessa equação? Uma resposta intuitiva ou visual (em oposição a uma resposta profundamente matemática) receberá pontos de bônus!

72 entropy  intuition  sequence-analysis 

Quero medir a entropia / densidade da informação / semelhança de padrão de uma matriz binária bidimensional. Deixe-me mostrar algumas fotos para esclarecimentos: Essa exibição deve ter uma entropia bastante alta: A) Isso deve ter entropia média: B) Finalmente, essas imagens devem ter entropia quase zero: C) D) E) Existe …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Eu já vi algumas perguntas aqui sobre o que isso significa em termos leigos, mas estas são muito leigas para o meu propósito aqui. Estou tentando entender matematicamente o que significa a pontuação da AIC. Mas, ao mesmo tempo, não quero uma prova de rigor que me faça não ver …

34 self-study  model-selection  aic  entropy  information-theory 

Estou lendo sobre entropia e estou tendo dificuldades para conceituar o que isso significa no caso contínuo. A página wiki declara o seguinte: A distribuição de probabilidade dos eventos, juntamente com a quantidade de informações de cada evento, forma uma variável aleatória cujo valor esperado é a quantidade média de …

32 entropy 

Eu sei que a entropia é a medida da aleatoriedade de um processo / variável e pode ser definida da seguinte forma. para uma variável aleatória conjunto : - . No livro sobre Entropia e Teoria da Informação de MacKay, ele fornece esta declaração no capítulo 2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in …

32 uniform  entropy  maximum-entropy 

No presente trabalho , o pesquisador talentoso Cosma Shalizi argumenta que aceitar plenamente uma visão subjetiva Bayesian, é preciso também aceitar um resultado não físico que a flecha do tempo (dado pelo fluxo de entropia) deve realmente ir para trás . Isto é principalmente uma tentativa de argumentar contra a …

31 bayesian  entropy  maximum-entropy  philosophical 

Tanto a entropia cruzada quanto a divergência KL são ferramentas para medir a distância entre duas distribuições de probabilidade. Qual é a diferença? Além disso, a minimização de KL é equivalente à minimização de entropia cruzada.K G ( P | Q ) = Σ x P ( x ) log …

24 entropy  kullback-leibler  cross-entropy 

Depois de muita pesquisa cruzada validada, ainda não me sinto mais perto de entender a divergência entre KL fora do campo da teoria da informação. É bastante estranho, como alguém com formação em matemática, achar muito mais fácil entender a explicação da teoria da informação. Para delinear meu entendimento a …

23 inference  entropy  information-theory  kullback-leibler  compression 

Eu usei o princípio da entropia máxima para justificar o uso de várias distribuições em várias configurações; no entanto, ainda não consegui formular uma interpretação estatística, em oposição à teórica da informação, da entropia máxima. Em outras palavras, o que maximizar a entropia implica nas propriedades estatísticas da distribuição? Alguém …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Não sou de forma alguma um estatístico (eu tive um curso de estatística matemática, mas nada além disso) e, recentemente, enquanto estudava teoria da informação e mecânica estatística, conheci uma coisa chamada "medida de incerteza" / "entropia". Eu li a derivação de Khinchin como uma medida de incerteza e isso …

21 entropy  inference 

Qual é a maneira correta mais teórica da informação / física para calcular a entropia de uma imagem? Não me preocupo com a eficiência computacional agora - quero teoricamente o mais correto possível. Vamos começar com uma imagem em escala de cinza. Uma abordagem intuitiva é considerar a imagem como …

21 spatial  entropy  image-processing 

Na definição de conjuntos comuns em conjunto (em "Elementos da teoria da informação", cap. 7.6, p. 195), usamos - 1nregistrop ( xn)−1nlog⁡p(xn)-\frac{1}{n} \log{p(x^n)} como a entropia empírica de uma sequência com . Eu nunca me deparei com essa terminologia antes. Não é definido explicitamente em nenhum lugar, de acordo com …

19 information-theory  entropy 

Estou procurando um livro ou recurso on-line que explique diferentes tipos de entropia, como Entropia de Amostra e Entropia de Shannon e suas vantagens e desvantagens. Alguém pode me apontar na direção certa?

18 references  entropy 

Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente.Y p ( x , y ) p ( x ) p ( y ) X YXXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY As informações mútuas entre e são …

17 entropy  mutual-information  information-theory 

Gostaria de saber se a floresta aleatória de Breiman (floresta aleatória no pacote R randomForest) usa como critério de divisão (critério para seleção de atributo) o ganho de informações ou o índice Gini? Tentei descobrir isso em http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm e na documentação do pacote randomForest em R. Mas a única coisa …

15 r  random-forest  entropy  gini