Perguntas com a marcação «information-theory»

Um ramo da matemática / estatística usado para determinar a capacidade de transporte de informações de um canal, seja aquele usado para comunicação ou definido em um sentido abstrato. A entropia é uma das medidas pelas quais os teóricos da informação podem quantificar a incerteza envolvida na previsão de uma variável aleatória.

3
Definição e origem da entropia cruzada
Sem citar fontes, a Wikipedia define a entropia cruzada de distribuições discretas e Q comoPPPQQQ H×( P; Q )= - ∑xp ( x )registroq( X ) .H×(P;Q)=-∑xp(x)registro⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Quem foi o primeiro a começar a usar essa quantidade? E quem inventou esse termo? …
1
Qualitativamente, o que é entropia cruzada
Esta questão fornece uma definição quantitativa de entropia cruzada, em termos de sua fórmula. Estou procurando uma definição mais fictícia, diz a wikipedia: Na teoria da informação, a entropia cruzada entre duas distribuições de probabilidade mede o número médio de bits necessários para identificar um evento a partir de um …
4
Conceito típico de conjunto
Eu pensei que o conceito de conjunto típico fosse bastante intuitivo: uma sequência de comprimento pertenceria ao conjunto típico se a probabilidade de saída da sequência fosse alta. Portanto, qualquer sequência que provavelmente estivesse em . (Estou evitando a definição formal relacionada à entropia porque estou tentando entendê-la qualitativamente.)A ( …
3
Referências que justificam o uso de misturas gaussianas
Os modelos de mistura gaussiana (GMMs) são atraentes porque são simples de trabalhar tanto analiticamente quanto na prática e são capazes de modelar algumas distribuições exóticas sem muita complexidade. Há algumas propriedades analíticas que devemos esperar manter que não são claras em geral. Em particular: Diga SnSnS_n é a classe …
1
Como interpretar entropia diferencial?
Li recentemente este artigo sobre a entropia de uma distribuição de probabilidade discreta. Ele descreve uma boa maneira de pensar em entropia como o número esperado de bits (pelo menos ao usar o log2log2\log_2 em sua definição de entropia) necessário para codificar uma mensagem quando sua codificação é ideal, dada …
1
Entropia Diferencial
A entropia diferencial do VR gaussiano é log2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e}). Isso depende deσσ\sigma, que é o desvio padrão. Se normalizarmos a variável aleatória para que ela tenha variação unitária, sua entropia diferencial cai. Para mim, isso é contra-intuitivo, porque a complexidade Kolmogorov da constante de normalização deve ser muito pequena …
2
Definições diferentes da AIC
Na Wikipedia, existe uma definição do Critério de Informação de Akaike (AIC) como AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L , onde kkk é o número de parâmetros e logLlog⁡L\log L é a probabilidade de log do modelo. No entanto, os nossos notas Econometria na universidade um estado bem respeitado …
1
Diferenças entre PROC Mixed e lme / lmer em R - graus de liberdade
Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes diferem entre PROC MIXEDe …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.