Perguntas com a marcação «information-theory»

No trabalho, fui encarregado de deduzir algumas informações de tipo sobre uma linguagem dinâmica. Reescrevo seqüências de instruções em letexpressões aninhadas , da seguinte maneira: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

Ao tentar entender as relações entre a codificação de Huffman, a codificação aritmética e a codificação de intervalo, comecei a pensar nas deficiências da codificação de Huffman relacionadas ao problema do empacotamento de bits fracionário . Ou seja, suponha que você tenha 240 valores possíveis para um símbolo e precise …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

Na teoria da codificação, 'quão bom é um código' significa quantos erros de canal podem ser corrigidos, ou melhor, o nível máximo de ruído com o qual o código pode lidar. Para obter códigos melhores, os códigos são projetados usando um alfabeto grande (em vez de um código binário). E …

10 information-theory  coding-theory 

O problema é provar ou refutar a existência de CCC , st, | c | =6,∀c∈C|c|=6,∀c∈C|c| = 6,\forall c\in C ; | C| =32|C|=32|C| = 32 ; d( cEu, cj) ≥ 2 , 1 ≤ i &lt; j ≤ 32d(ci,cj)≥2,1≤i&lt;j≤32d(c_i,c_j)\geq2,1\leq i<j\leq32 . ( ddd significa distância de hamming) Eu tentei …

9 information-theory  coding-theory  encoding-scheme 

O requisito da codificação como livre de prefixo resulta em árvores grandes, pois a árvore precisa estar completa. Existe um limite em que o armazenamento de dados não codificado de comprimento fixo seja mais eficiente do que codificar os dados?

9 information-theory  data-compression 

Estou lendo um artigo que se refere ao limite quando n vai ao infinito da entropia de Rényi. Ele define comoHn(X)=11−nlog2(∑i=1Npni)Hn(X)=11−nlog2⁡(∑i=1Npin){{H}_{n}}\left( X \right)=\dfrac{1}{1-n} \log_2 \left( \sum\limits_{i=1}^{N}{p_{i}^{n}} \right). Diz então que o limite comon→∞n→∞n\to \infty é −log2(p1)−log2⁡(p1)-\log_2 \left( p_1 \right). Eu vi outro artigo que usa o máximo depi′spi′s{{p}_{i}}'s ao invés …

8 information-theory  entropy 

Wiki: https://en.wikipedia.org/wiki/Byzantine_fault_tolerance No artigo "Chegar a um acordo na presença de falhas", M. Pease et al. provou que não existe um protocolo (de algum tipo) para resolver o probleman≤3mn≤3mn \leq 3m, Onde nnn significa o número de generais e mmmsignifica o número de traidores. A chave da prova disso é …

7 distributed-systems  information-theory  fault-tolerance 

Eu teria feito um comentário, pois isso diz respeito à resposta de Andrej Bauer neste tópico ; no entanto, acredito que vale a pena fazer uma pergunta. Andrej explica que, dado o conjunto de todas as seqüências de bits de comprimento 3 ou menos, uma função de compactação sem perdas …

7 information-theory  data-compression 

A codificação de Huffman é sempre ideal, pois usa as idéias de Shanon? E quanto a texto, imagem, vídeo, ... compressão? Esse assunto ainda está ativo no campo? Que referências clássicas ou modernas devo ler?

7 algorithms  information-theory  data-compression 

Deixei a≠ba≠ba \neq bsejam dois inteiros do intervaloSeja um primo aleatório comProve que [1,2n].[1,2n].[1, 2^n].ppp1≤p≤nc.1≤p≤nc. 1 \le p \le n^c.Prp∈Primes{a≡b(modp)}≤cln(n)/(nc−1).Prp∈Primes{a≡b(modp)}≤cln⁡(n)/(nc−1).\text{Pr}_{p \in \mathsf{Primes}}\{a \equiv b \pmod{p}\} \le c \ln(n)/(n^{c-1}). Dica: Como conseqüência do teorema do número primo, exatamente muitos números de são primos.n/ln(n)±o(n/ln(n))n/ln⁡(n)±o(n/ln⁡(n))n/ \ln(n) \pm o(n/\ln(n)){1,…,n}{1,…,n}\{ 1, \ldots, n \} Conclusão: …

7 probability-theory  information-theory  coding-theory  number-theory