Perguntas com a marcação «it.information-theory»

Quais são os seus exemplos favoritos em que a teoria da informação é usada para provar uma declaração combinatória pura de uma maneira simples? Alguns exemplos em que posso pensar estão relacionados a limites mais baixos para códigos decodificáveis ​​localmente, por exemplo, neste artigo: suponha que, para um monte de …

54 co.combinatorics  big-list  it.information-theory 

Informalmente, a complexidade de Kolmogorov de uma string é o comprimento de um programa mais curto que gera . Podemos definir uma noção de 'string aleatória' usando-a ( é aleatório se ) É fácil ver que a maioria das strings é aleatória (não há tantos programas curtos).xxxxxxxxxK(x)≥0.99|x|K(x)≥0.99|x|K(x) \geq 0.99 |x| …

44 cc.complexity-theory  big-list  co.combinatorics  it.information-theory 

Esta pergunta foi feita a Jeannette Wing após sua apresentação no PCAST sobre ciência da computação. “Do ponto de vista da física, existe um volume máximo de informações que possamos ter?” (Uma boa pergunta de desafio para a comunidade teórica da ciência da computação, pois acho que ela implora a …

33 it.information-theory  physics 

A complexidade do prefixo Kolmogorov (ou seja, é o tamanho do programa auto-delimitador mínimo que gera ) possui vários recursos interessantes:xK( X )K(x)K(x)xxx Corresponde a uma intuição de fornecer a strings com padrões ou estrutura uma complexidade menor do que strings sem. Ela nos permite definir condicional complexidade , ou …

28 it.information-theory  kolmogorov-complexity  formal-modeling 

Estou procurando códigos de correção de erros do seguinte tipo: códigos binários com taxa constante, decodificável a partir de uma fração constante de erros, por um decodificador implementável como um circuito booleano de tamanho , em que N é o comprimento da codificação.O(N)O(N)O(N)NNN Alguns antecedentes: Spielman, em códigos de correção …

27 co.combinatorics  it.information-theory  coding-theory 

O código de Huffman para uma distribuição de probabilidade ppp é o código de prefixo com a palavra de código ponderado média comprimento mínimo ∑piℓi∑piℓi\sum p_i \ell_i , onde ℓiℓi\ell_i é o comprimento do iii th codword. É um teorema bem conhecido que o comprimento médio por símbolo do código …

21 optimization  it.information-theory  coding-theory 

Na teoria da informação quântica, a distância entre dois canais quânticos é frequentemente medida usando a norma do diamante. Também existem várias maneiras de medir a distância entre dois estados quânticos, como a distância do traço, a fidelidade, etc. O isomorfismo de Jamiołkowski fornece uma dualidade entre canais quânticos e …

19 quantum-computing  it.information-theory  quantum-information 

A complexidade da informação tem sido uma ferramenta muito útil na complexidade da comunicação, usada principalmente para limitar a complexidade da comunicação de problemas distribuídos. Existe um análogo da complexidade da informação para a complexidade da consulta? Existem muitos paralelos entre a complexidade da consulta e a complexidade da comunicação; …

15 it.information-theory  communication-complexity  query-complexity 

Na implementação de um filtro Bloom, a abordagem tradicional exige várias funções hash independentes. Kirsch e Mitzenmacher mostraram que você realmente precisa apenas de dois e pode gerar o restante como combinações lineares. Minha pergunta é: qual é realmente a diferença entre duas funções de hash e uma com o …

15 ds.data-structures  it.information-theory  hash-function 

Muitos de nós estamos familiarizados - ou pelo menos já ouvimos falar - da entropia de Shannon de uma variável aleatória, e todos os relacionados. medidas teóricas da informação, como entropia relativa, informações mútuas etc. Existem algumas outras medidas de entropia que são comumente usadas na ciência da computação e …

14 it.information-theory  quantum-information 

Lema: Assumindo a eta-equivalência, temos isso (\x -> ⊥) = ⊥ :: A -> B. Prova: ⊥ = (\x -> ⊥ x)por eta-equivalência e (\x -> ⊥ x) = (\x -> ⊥)por redução no lambda. O relatório Haskell 2010, seção 6.2 especifica a seqfunção por duas equações: seq :: a …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

Ultimamente, tenho lidado com algoritmos relacionados à compactação, e me perguntava qual é a melhor taxa de compactação que pode ser alcançada pela compactação de dados sem perdas. Até agora, a única fonte que pude encontrar sobre esse tópico foi a Wikipedia: A compactação sem perdas de dados digitalizados, como …

14 it.information-theory  data-streams 

O popular algoritmo DEFLATE usa a codificação Huffman em cima do Lempel-Ziv. Em geral, se tivermos uma fonte aleatória de dados (= entropia de 1 bit / bit), nenhuma codificação, incluindo Huffman, provavelmente a compactará em média. Se Lempel-Ziv fosse "perfeito" (que se aproxima da maioria das classes de fontes, …

13 ds.algorithms  it.information-theory  coding-theory  encoding 

Existem pesquisadores mostrando que o apagamento de bit deve consumir energia, agora existem pesquisas sobre o consumo médio de energia do algoritmo com complexidade computacional ? Eu acho que a complexidade computacional F ( n ) está correlacionada com o consumo médio de energia, espero poder obter alguma resposta aqui.F( …

12 cc.complexity-theory  reference-request  it.information-theory  quantum-information  statistical-physics 

Eu estou procurando um ligado na entropia da soma de duas variáveis aleatórias discretas independentes X e Y . Naturalmente, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) No entanto, aplicado à soma de n variáveis ​​aleatórias independentes Bernoulli …

12 it.information-theory  shannon-entropy