Perguntas com a marcação «entropy»

2
Simulando uma probabilidade de 1 de 2 ^ N com menos de N bits aleatórios
Digamos que preciso simular a seguinte distribuição discreta: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} A maneira mais óbvia é desenhar NNN bits aleatórios e verificar se todos são iguais a …
3
Entropia de Shannon de 0,922, 3 valores distintos
Dada uma sequência de valores , a Entropia de Shannon na base de log chega a . Pelo que entendi, na base a Entropia de Shannon arredondada é o número mínimo de bits em binário para representar um único dos valores.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Retirado da introdução nesta página da Wikipedia: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 Então, …
1
Inferindo tipos de refinamento
No trabalho, fui encarregado de deduzir algumas informações de tipo sobre uma linguagem dinâmica. Reescrevo seqüências de instruções em letexpressões aninhadas , da seguinte maneira: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in …
11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 
2
Existe uma generalização da codificação de Huffman para a codificação aritmética?
Ao tentar entender as relações entre a codificação de Huffman, a codificação aritmética e a codificação de intervalo, comecei a pensar nas deficiências da codificação de Huffman relacionadas ao problema do empacotamento de bits fracionário . Ou seja, suponha que você tenha 240 valores possíveis para um símbolo e precise …
1
Como medir praticamente a entropia de um arquivo?
Agora estou tentando medir muitas informações não redundantes (reais) do meu arquivo. Alguns chamam isso de quantidade de entropia. É claro que existe o log p (x) padrão {p (x)}, mas acho que Shannon estava considerando apenas o ponto de vista da transmissão através de um canal. Portanto, a fórmula …
9 entropy 
1
Entropia de Rényi no infinito ou min-entropia
Estou lendo um artigo que se refere ao limite quando n vai ao infinito da entropia de Rényi. Ele define comoHn(X)=11−nlog2(∑i=1Npni)Hn(X)=11−nlog2⁡(∑i=1Npin){{H}_{n}}\left( X \right)=\dfrac{1}{1-n} \log_2 \left( \sum\limits_{i=1}^{N}{p_{i}^{n}} \right). Diz então que o limite comon→∞n→∞n\to \infty é −log2(p1)−log2⁡(p1)-\log_2 \left( p_1 \right). Eu vi outro artigo que usa o máximo depi′spi′s{{p}_{i}}'s ao invés …
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.