Perguntas com a marcação «information»

Quero medir a entropia / densidade da informação / semelhança de padrão de uma matriz binária bidimensional. Deixe-me mostrar algumas fotos para esclarecimentos: Essa exibição deve ter uma entropia bastante alta: A) Isso deve ter entropia média: B) Finalmente, essas imagens devem ter entropia quase zero: C) D) E) Existe …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Se o interesse é apenas estimar os parâmetros de um modelo (estimativa pontual e / ou intervalo) e as informações anteriores não são confiáveis, fracas (sei que isso é um pouco vago, mas estou tentando estabelecer um cenário em que a escolha de um prior é difícil) ... Por que …

44 bayesian  inference  prior  likelihood  information 

Dado o seguinte modelo hierárquico, e que é uma distribuição normal. Existe uma maneira de obter uma expressão exata para as informações de Fisher da distribuição marginal de dada . Ou seja, qual é a informação de Fisher de: Posso obter uma expressão para a distribuição marginal de dada c …

20 multilevel-analysis  information  fisher-information 

Estou tentando provar que a matriz de informações observada avaliada no estimador de verossimilhança máxima fraca consistentemente consistente (MLE) é um estimador fracamente consistente da matriz de informações esperada. Este é um resultado amplamente citado, mas ninguém fornece uma referência ou uma prova (acabei as 20 primeiras páginas de resultados …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Como o título diz, a redução de dimensão sempre perde alguma informação? Considere, por exemplo, PCA. Se os dados que eu tenho são muito escassos, eu suponho que uma "melhor codificação" possa ser encontrada (isso está de alguma forma relacionado à classificação dos dados?), E nada seria perdido.

10 pca  information-theory  information