Estatísticas e Big Data information-theory

2

Poderia a informação mútua sobre a entropia conjunta: 0 ≤ I( X, Y)H( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 ser definido como: "A probabilidade de transmitir uma informação de X para Y"? Sinto muito por ser tão ingênuo, mas nunca estudei teoria da informação e estou apenas tentando …

11 information-theory mutual-information

1

As informações mútuas podem obter valor maior que 1

Eu tenho uma dúvida muito básica. Desculpe se isso irrita poucos. Eu sei que o valor de Informações Mútuas deve ser maior que 0, mas deve ser menor que 1? É limitado por algum valor superior? Obrigado, Amit.

11 information-theory mutual-information

3

Teorema do limite central da teoria da informação

A forma mais simples da CLT teórica da informação é a seguinte: Seja como iid com média e variação . Seja a densidade da soma normalizada e seja a densidade gaussiana padrão. Então o CLT teórico da informação afirma que, se é finito para alguns n , então D (f_n …

11 mathematical-statistics information-theory central-limit-theorem

2

Correlação entre dois baralhos de cartas?

Eu escrevi um programa para simular um embaralhamento de cartão overhand . Cada carta é numerada, com o naipe passando CLUBS, DIAMONDS, HEARTS, SPADESe a classificação de Dois a Dez, depois Valete, Rainha, Rei e Ás. Assim, o Two of Clubs tem um número 1, o Three of Clubs um …

11 correlation pearson-r information-theory

2

Quais são as boas métricas para avaliar a qualidade de um ajuste de PCA, a fim de selecionar o número de componentes?

Qual é uma boa métrica para avaliar a qualidade da análise de componentes principais (PCA)? Eu executei esse algoritmo em um conjunto de dados. Meu objetivo era reduzir o número de recursos (a informação era muito redundante). Sei que a porcentagem de variação mantida é um bom indicador da quantidade …

10 machine-learning pca data-mining information-theory

3

A redução de dimensão sempre perde algumas informações?

Como o título diz, a redução de dimensão sempre perde alguma informação? Considere, por exemplo, PCA. Se os dados que eu tenho são muito escassos, eu suponho que uma "melhor codificação" possa ser encontrada (isso está de alguma forma relacionado à classificação dos dados?), E nada seria perdido.

10 pca information-theory information

1

Como calcular informações mútuas?

Eu estou um pouco confuso. Alguém pode me explicar como calcular informações mútuas entre dois termos com base em uma matriz termo-documento com ocorrência de termos binários como pesos? D o c u m e n t 1D o c u m e n t doisD o c u m …

10 python information-theory mutual-information numpy pandas

3

Seleção de recursos usando informações mútuas no Matlab

Estou tentando aplicar a idéia de informações mútuas à seleção de recursos, conforme descrito nestas notas de aula (na página 5). Minha plataforma é Matlab. Um problema que encontro ao calcular informações mútuas a partir de dados empíricos é que o número é sempre tendencioso para cima. Encontrei cerca de …

10 matlab feature-selection information-theory mutual-information

2

Teste de hipótese e distância total da variação vs. divergência Kullback-Leibler

Na minha pesquisa, encontrei o seguinte problema geral: tenho duas distribuições e no mesmo domínio e um grande (mas finito) número de amostras dessas distribuições. As amostras são distribuídas de forma independente e idêntica a partir de uma dessas duas distribuições (embora as distribuições possam estar relacionadas: por exemplo, pode …

10 hypothesis-testing mathematical-statistics kullback-leibler information-theory bounds

2

Nos modelos Normal e Binomial, a variação posterior é sempre menor que a variação anterior?

Ou que condições garantem isso? Em geral (e não apenas nos modelos normal e binomial), suponho que a principal razão que quebrou essa afirmação é que há inconsistência entre o modelo de amostragem e o anterior, mas o que mais? Estou começando com este tópico, então eu realmente aprecio exemplos …

10 bayesian variance information-theory

2

Número de posições ao calcular informações mútuas

Quero quantificar o relacionamento entre duas variáveis, A e B, usando informações mútuas. A maneira de calculá-lo é impedindo as observações (veja o código Python de exemplo abaixo). No entanto, quais fatores determinam qual número de posições é razoável? Eu preciso que a computação seja rápida, então não posso simplesmente …

10 information-theory mutual-information binning

3

Os hiperplanos classificam os dados de maneira ideal quando as entradas são condicionalmente independentes - Por quê?

No artigo chamado Aprendizagem Profunda e o Princípio do Gargalo de Informações, os autores declaram na seção II A) o seguinte: Neurônios únicos classificam apenas entradas linearmente separáveis, pois podem implementar apenas hiperplanos em seu espaço de entrada . Os hiperplanos podem classificar os dados de maneira ideal quando as …

9 bayesian neural-networks information-theory

1

As redes neurais usam codificação eficiente?

Minha pergunta diz respeito à relação entre a hipótese de codificação eficiente, descrita na página da Wikipedia sobre algoritmos de codificação eficiente e aprendizado de rede neural. Qual é a relação entre a hipótese de codificação eficiente e as redes neurais? Existem modelos de redes neurais inspirados explicitamente pela hipótese …

9 neural-networks information-theory

1

Uso da teoria da informação na ciência de dados aplicada

Hoje, deparei-me com o livro "Teoria da informação: uma introdução tutorial", de James Stone, e pensei por um momento ou dois sobre a extensão do uso da teoria da informação na ciência de dados aplicada (se você não se sente confortável com esse termo ainda um pouco confuso, pense na …

9 information-theory

2

Como o log (p (x, y)) normaliza as informações mútuas pontuais?

Estou tentando entender a forma normalizada de informações mútuas pontuais. n p m i = p m i ( x , y)l o g( p ( x , y) ))npmEu=pmEu(x,y)euog(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Por que a probabilidade conjunta de log normaliza as informações mútuas pontuais entre [-1, 1]? As informações mútuas …

9 entropy information-theory mutual-information

Perguntas com a marcação «information-theory»