Perguntas com a marcação «maximum-entropy»

Eu sei que a entropia é a medida da aleatoriedade de um processo / variável e pode ser definida da seguinte forma. para uma variável aleatória conjunto : - . No livro sobre Entropia e Teoria da Informação de MacKay, ele fornece esta declaração no capítulo 2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in …

32 uniform  entropy  maximum-entropy 

No presente trabalho , o pesquisador talentoso Cosma Shalizi argumenta que aceitar plenamente uma visão subjetiva Bayesian, é preciso também aceitar um resultado não físico que a flecha do tempo (dado pelo fluxo de entropia) deve realmente ir para trás . Isto é principalmente uma tentativa de argumentar contra a …

31 bayesian  entropy  maximum-entropy  philosophical 

Eu usei o princípio da entropia máxima para justificar o uso de várias distribuições em várias configurações; no entanto, ainda não consegui formular uma interpretação estatística, em oposição à teórica da informação, da entropia máxima. Em outras palavras, o que maximizar a entropia implica nas propriedades estatísticas da distribuição? Alguém …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Eu tenho usado distribuições normais de log como distribuições anteriores para parâmetros de escala (para distribuições normais, t distribuições etc.) quando tenho uma idéia aproximada sobre qual deve ser a escala, mas quero errar ao dizer que não sei muito sobre isso. Eu o uso porque esse uso faz sentido …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Para uma variável aleatória contínua arbitrária, digamos , sua entropia diferencial é sempre menor que ∞ ? (Tudo bem se estiver - ∞ .) Se não, qual é a condição necessária e suficiente para que seja menor que ∞ ?XXX∞∞\infty-∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima. Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento, etc?

13 entropy  information-theory  maximum-entropy 

Qual é a distribuição máxima de entropia para uma variável contínua positiva, dados seus primeiro e segundo momentos? Por exemplo, uma distribuição Gaussiana é a distribuição máxima de entropia para uma variável ilimitada, dada sua média e desvio padrão, e uma distribuição Gamma é a distribuição máxima de entropia para …

13 distributions  standard-deviation  mean  maximum-entropy 

A questão: o bootstrapping é superior ao jackknifing; no entanto, estou me perguntando se há casos em que o jackknifing é a única ou pelo menos uma opção viável para caracterizar a incerteza das estimativas de parâmetros. Além disso, em situações práticas, o quão tendencioso / impreciso é o canivete …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Seja px,ypx,yp_{x,y} uma distribuição conjunta de duas variáveis ​​categóricas X,YX,YX,Y , com x,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\} . Digamos que nnn amostras foram retiradas dessa distribuição, mas recebemos apenas as contagens marginais, ou seja, para j=1,…,Kj=1,…,Kj=1,\ldots,K : Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, Qual é o estimador de máxima verossimilhança para px,ypx,yp_{x,y} , …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

Uma das questões importantes que os meteorologistas enfrentam é se a série fornecida pode ser prevista ou não? Eu me deparei com um artigo intitulado " Entropia como um indicador prioritário de previsibilidade ", de Peter Catt, que usa Entropia aproximada (ApEn) como uma medida relativa para determinar uma determinada …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Eu estava lendo a discussão no Hacker News sobre o uso do desvio padrão em oposição a outras métricas, como o desvio médio absoluto. Portanto, se seguíssemos o princípio da entropia máxima, com que tipo de distribuição usaríamos se soubéssemos a média da distribuição e o desvio médio absoluto? Ou …

10 distributions  maximum-entropy  mad 

Pergunta curta: por que isso é verdade? Pergunta longa: Muito simplesmente, estou tentando descobrir o que justifica essa primeira equação. O autor do livro que estou lendo (contexto aqui, se você quiser, mas não é necessário), afirma o seguinte: Devido à suposição de quase gaussianidade, podemos escrever: p0(ξ)=Aϕ ( ξ)e …

9 probability  normal-distribution  entropy  maximum-entropy 

Estou intrigado com o conceito de um modelo de entropia máxima de Markov (MEMM) e estou pensando em usá-lo para um etiquetador de parte do discurso (POS). No momento, estou usando um classificador convencional de máxima entropia (ME) para marcar cada palavra individualmente. Isso usa vários recursos, incluindo as duas …

9 machine-learning  mcmc  maximum-entropy  memm 

Geralmente, existem muitas distribuições conjuntas consistentes com um conjunto conhecido de distribuições marginais .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) Destas distribuições conjuntas, o produto é formado pelo produto dos marginais aquele com a maior entropia?∏ifi(xi)∏ifi(xi)\prod_i f_i(x_i) Certamente acredito que isso é verdade, …

9 distributions  joint-distribution  marginal  maximum-entropy 

Recentemente, tive uma rápida discussão com um amigo experiente que mencionou que os SVMs são o limite de temperatura zero da regressão logística. A lógica envolvia polítopos marginais e dualidade de fenchel. Eu não fui capaz de seguir. Esta afirmação sobre SVMs é o limite de temperatura zero da regressão …

8 logistic  svm  graphical-model  exponential-family  maximum-entropy