Teoria da informação usada para provar declarações combinatórias puras?

Quais são os seus exemplos favoritos em que a teoria da informação é usada para provar uma declaração combinatória pura de uma maneira simples?

Alguns exemplos em que posso pensar estão relacionados a limites mais baixos para códigos decodificáveis ​​localmente, por exemplo, neste artigo: suponha que, para um monte de cadeias binárias de comprimento isso seja válido para todo , para diferente pares { },Então m é pelo menos exponencial em n, onde o expoente depende linearmente da razão média de . n i k i j 1 , j 2 e i = x j 1 ⊕ x j 2 . k i /$x_1,...,x_m$$n$$i$$k_i$$j_1,j_2$

Outro exemplo (relacionado) são algumas desigualdades isoperimétricas no cubo booleano (fique à vontade para elaborar isso em suas respostas).

Você tem exemplos mais legais? De preferência, curto e fácil de explicar.

A prova de Moser do construtor local Lemma de Lovasz . Ele basicamente mostra que, nas condições do lema local, o segundo algoritmo mais simples para SAT que você pode imaginar funciona. (O primeiro mais simples pode ser apenas tentar uma tarefa aleatória até que alguém funcione. O segundo mais simples é escolher uma tarefa aleatória, encontrar uma cláusula insatisfeita, satisfazê-la e depois ver quais outras cláusulas você quebrou, repetiu e repetiu até terminar.) A prova de que isso ocorre no tempo polinomial é talvez o uso mais elegante da teoria da informação (ou da complexidade de Kolmogorov, como você quiser chamar nesse caso) que eu já vi.

Meu exemplo favorito desse tipo é a prova baseada em entropia do Lema de Shearer's. (Aprendi sobre essa prova e várias outras muito bonitas da Entropy and Counting de Jaikumar Radhakrishnan .)

Reivindicação: Suponha que você tenha pontos em que tenham projeções distintas no plano , projeções distintas no plano e projeções distintas no plano . Então, .R 3 n x y z n y x z n z x y n 2 ≤ n x n y n $n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

Prova: Seja um ponto uniformemente escolhido aleatoriamente dentre os pontos. Deixe , , denotam suas projecções no , e planos respectivamente. n p x p y p z y z x z x $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

Por um lado, , , e , pelas propriedades básicas da entropia.$H[p] = \log n$ H [ p y ] ≤ log n y H [ p z ] ≤ log n $H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

Por outro lado, temos e também adição das três últimas equações nos dá: , onde usamos o fato de que o condicionamento diminui a entropia (em geral, para quaisquer variáveis ​​aleatórias ).H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [ z | x ] H

Portanto, temos ou .n 2 ≤ n x n y n $2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

$p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• Selecione uma combinação perfeita uniformemente. A entropia dessa variável é .$M$$H(M) = \log p$
• Para , vamos ser o vértice em que é compensada com em .$v \in L$$X_v$$R$$v$$M$
• A variável tem as mesmas informações que , então .$X = (X_v : v \in L)$$M$$H(M) = H(X)$
• Idéia inteligente 1: Ao selecionar aleatoriamente (e uniformemente) uma ordem em , Radhakrishnan fornece uma "regra de cadeia aleatória" declarando .$\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• A partir das informações nas condições ( ), podemos determinar(aproximadamente: o número de opções para a correspondência de ).${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• Como é determinado com base nessas informações, a entropia condicionada não muda na igualdade . H ( X $N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• Idéia inteligente 2: "esquecendo" as informações , só podemos aumentar a entropia: .${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• $N_v$${1,\dots, d(v)}$
• $H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• O resultado segue combinando todas as desigualdades e obtendo expoentes.

$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

Exemplos muito bons estão contidos em dois artigos de Pippenger, Um Método Teórico da Informação em Teoria Combinatória. J. Comb. Teoria, Ser. A 23 (1): 99-104 (1977) e Entropia e enumeração de funções booleanas. IEEE Transactions on Information Theory 45 (6): 2096-2100 (1999). Na verdade, vários trabalhos de Pippenger contêm provas fofas de fatos combinatórios por meio de entropia / informação mútua. Além disso, os dois livros: Jukna, Combinatória Extremal Com Aplicações em Ciência da Computação e Aigner, Pesquisa Combinatória têm alguns bons exemplos. Também gosto dos dois artigos que Madiman et al. Desigualdades teóricas da informação em combinações aditivas e Terence Tao, estimativas do subconjunto Entropy (você pode encontrá-las no Google Scholar). Espero que ajude.

Outro ótimo exemplo é a prova alternativa de Terry Tao do lema de regularidade do gráfico de Szemerédi . Ele usa uma perspectiva teórica da informação para provar uma versão forte do lema da regularidade, que acaba sendo extremamente útil em sua prova do lema da regularidade para hipergráficos . A prova de Tao é, de longe, a prova mais concisa para o lema da regularidade do hipergrafo.

Deixe-me tentar explicar em um nível muito alto essa perspectiva teórica da informação.

$G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

$x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$

$V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$$E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$$E$$x_1 | U_1$$x_2 | U_2$$x_1$$x_2$

Basicamente, existe todo um curso dedicado a essa pergunta:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

O curso ainda está em andamento. Portanto, nem todas as notas estão disponíveis na hora de escrever isso. Além disso, alguns exemplos do curso já foram mencionados.

$n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$$\sim \log(1 / \epsilon)$

$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

$t > 1$

$P$$P$$O(\log |X|)$$X$$P$

Análise de casos médios de algoritmos usando a complexidade de Kolmogorov por Jiang, Li, Vitanyi.

'Analisar a complexidade média dos algoritmos é um problema muito prático, mas muito difícil na ciência da computação. Nos últimos anos, demonstramos que a complexidade de Kolmogorov é uma ferramenta importante para analisar a complexidade de casos médios de algoritmos. Nós desenvolvemos o método de incompressibilidade [7]. Neste artigo, usamos vários exemplos simples para demonstrar ainda mais o poder e a simplicidade desse método. Provamos limites no número médio de pilhas (filas) necessárias para classificar Queueusort sequencial ou paralelo ou Stacksort. '

Veja também, por exemplo, a complexidade de Kolmogorov e um problema de triângulo do tipo Heilbronn .

A equivalência de amostragem e pesquisa por Scott Aaronson. Aqui ele mostra a equivalência do problema de amostragem e pesquisa na teoria da complexidade em relação à validade da Tese Estendida de Church-Turing. Teoria da informação padrão, teoria da informação algorítmica e complexidade de Kolmogorov são usadas de maneira fundamental.

Ele enfatiza:
" Vamos enfatizar que não estamos usando a complexidade de Kolmogorov apenas como uma conveniência técnica ou como uma abreviação para um argumento de contagem. Em vez disso, a complexidade de Kolmogorov parece essencial mesmo para definir um problema de pesquisa .. "

Essa é simples e também uma aproximação: quantas combinações de 10 ⁶ de 10 ⁹ , permitindo duplicatas? A fórmula correta é

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

Mas imagine dar instruções para caminhar ao longo de uma fileira de bilhões de baldes, jogando um milhão de bolas de gude nos baldes ao longo do caminho. Haverá ~ 10 ⁹ "instruções para o próximo balde" e 10 ⁶ instruções "drop a marble". A informação total é

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.432742426

que é uma maneira engraçada, mas bastante boa, de aproximar a contagem (log da) Eu gosto porque funciona se eu esquecer como fazer combinações. É equivalente a dizer que

(a + b)! / uma! b! A = b (a + b) ^{(a + b)} / a ^a b ^b

que é como usar a aproximação de Stirling, cancelar e perder algo.

Uma aplicação recente muito agradável para fornecer limites superiores para permutações de alta dimensão por Linial e Luria está aqui: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf