Na ciência da computação, geralmente precisamos resolver as relações de recorrência , ou seja, encontrar uma forma fechada para uma sequência de números definida recursivamente. Ao considerar os tempos de execução, geralmente nos interessamos principalmente pelo crescimento assintótico da sequência .

Exemplos são

1. O tempo de execução de uma função recursiva de cauda que desce para de cujo corpo leva tempo :$0$$n$$f(n)$

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. A sequência de Fibonacci :

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. O número de palavras Dyck com pares de parênteses:$n$

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. A recorrência do tempo de execução do mergesort em listas de comprimento :$n$

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

Quais são os métodos para resolver as relações de recorrência? Nos estamos procurando por

• métodos gerais e
• métodos para uma subclasse significativa

assim como

• métodos que produzem soluções precisas e
• métodos que proporcionam (limitam) crescimento assintótico.

^{Isso deveria se tornar uma pergunta de referência. Poste uma resposta por método e forneça uma descrição geral e um exemplo ilustrativo.}

Convertendo o histórico completo em histórico limitado

Esta é uma primeira etapa na solução de recorrências em que o valor em qualquer número inteiro depende dos valores em todos os números menores. Considere, por exemplo, a recorrência que surge na análise do quicksort randomizado . (Aqui, é a classificação do pivô escolhido aleatoriamente.) Para qualquer número inteiro , o valor de depende de todos os com . As recorrências deste formulário são chamadas de recorrências completas do histórico .knT(n)T(k)k<

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

Para resolver essa recorrência, podemos transformá-la em uma recorrência histórica limitada , onde depende apenas de um número constante de valores anteriores. Mas, primeiro, ajuda a simplificar um pouco a recorrência, coletar termos comuns e eliminar frações traquinas. Agora, para converter em uma recorrência de histórico limitado , anotamos a recorrência de , subtraímos e reorganizamos os termos: n T ( n $T(n)$ T(n-1) ( n - 1 ) T ( n - 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

Agora, se definirmos e substituir a fração pela forma assintótica mais simples , obtemos a recorrência muito mais simples Expandir este recorrência em um somatório de imediato nos dá , onde é o º número harmônica . Concluímos que .2 n - $t(n) = T(n)/(n+1)$ Θ(1/n)t(n)=Θ(1/n)+t(n-1). t(n)=Θ(Hn)=Θ(logn)Hn$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

Gerando funções$\newcommand{\nats}{\mathbb{N}}$

Toda série de números corresponde a uma função geradora . Muitas vezes, pode ser obtido confortavelmente em uma recorrência para que seus coeficientes - os elementos da série - sejam arrancados.

Essa resposta inclui a ansatz geral com um exemplo completo, um atalho para um caso especial e algumas notas sobre o uso desse método para obter assintóticos (mesmo que o resultado preciso não possa ser obtido).

O método

Deixe uma série de números. Então, a série formal de poder$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

é a função geradora comum ¹ de . Os coeficientes na expansão em série de iguais à sequência, ou seja, . Por exemplo, a função geradora comum dos famosos números catalães é A ( z ) [ z n ] A ( z ) = a n C $(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$ .

A definição de também é a nossa ansatz para resolver uma recorrência. Isso funciona melhor para recorrências lineares, portanto, assuma a simplicidade uma recorrência da forma$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

para alguns fixo e uma função independente de todos . Agora, simplesmente inserimos âncoras e parte recursiva na ansatz, ou seja, f ( n ) : N → N a $b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

Usando mecânica de manipulação de soma, propriedades de séries formais de poder e identidades conhecidas ², o último lado direito deve ser trazido para formas fechadas, geralmente em termos de . A equação resultante pode (frequentemente) ser resolvida para . A expansão em série do resultado (que pode ser facilmente obtida, conhecida ou acessível de outra forma) é essencialmente a solução.A ( z $A(z)$$A(z)$

Boas introduções podem ser encontradas no livro de Wilf [3] e no GKP [4]. Material avançado foi coletado por Flajolet e Sedgewick [5].

Exemplo

Considerar

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

Calculamos:

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

Isso resolve para

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

Agora podemos finalmente ler

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

Depois de se acostumar , você percebe que tudo isso é bastante mecânico. De fato, a álgebra computacional pode fazer tudo isso em muitos casos. O bom é que permanece (mais ou menos) esse mecânico, mesmo que a recorrência seja mais complexa. Veja aqui um exemplo mais envolvido e menos mecânico.

Observe também que as técnicas gerais também funcionam se os objetos procurados forem números complexos ou mesmo polinômios.

Um atalho

Para recorrências lineares e homogêneas, isto é, da forma

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

o exposto passa exatamente da mesma maneira, sempre. Ao executar o cálculo acima simbolicamente, encontramos o seguinte lema . Deixei

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

ser o polinomal característico (da recorrência). Além disso, os zeros (distintos em pares) do referido polinômio com multiplicidade , respectivamente. Então, o coeficiente desejado é dado porr $\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

com desconhecido . Como o polinômio característico possui o grau , existem exatamente zeros (complexos) , ou seja, a soma de em . Portanto, os coeficientes ausentes podem ser determinados resolvendo o sistema de equações lineares com equações obtidas equacionando a fórmula acima com qualquer do (por exemplo, as âncoras). k k r i k k k a $b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

Assintóticos

Chegar a um formulário fechado para é geralmente a parte mais fácil. Expressando-o na geração de funções, sabemos que os coeficientes (como fizemos no exemplo) rapidamente se tornam difíceis. Os exemplos são acima e o número de palavras Dyck mencionadas na pergunta.C ( z $A(z)$$C(z)$

Pode-se empregar maquinaria complexa de análise, especificamente análise de singularidade, para obter assintóticos para os coeficientes; chavões incluem o método de Darboux e o método de ponto de sela. Estes são baseados no teorema do resíduo e na fórmula integral de Cauchy . Veja [6] para detalhes.

---

1. Você pode fazer coisas semelhantes com exponencial , Dirichlet e algumas outras funções geradoras. O que funciona melhor depende da sequência em questão e, em particular, se você encontra os formulários fechados necessários.
2. Por exemplo, na Folha de dicas do TCS ou [3].
3. generatorfunctionology por H. Wilf (1994, 2ª ed.) - disponível para download gratuito
4. Concrete Mathematics por RL Graham, DE Knuth e O. Patashnik (1994, 2ª ed.)
5. Introdução à análise de algoritmos de R. Sedgewick e P. Flajolet (2ª edição, 2013) - disponível para download gratuito
6. Analytic Combinatorics por P. Flajolet e R. Sedgewick (2009) - disponível para download gratuito

Teorema Mestre

O teorema mestre fornece assintóticos para as soluções das chamadas recorrências de dividir e conquistar , que são tais que dividem seu parâmetro em pedaços proporcionais (em vez de cortar constantes). Geralmente ocorrem ao analisar algoritmos de divisão e conquista (recursivos), daí o nome. O teorema é popular porque geralmente é incrivelmente fácil de aplicar. Por outro lado, ele só pode ser aplicado a recorrências do seguinte formulário:

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

com . Existem três casos$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   para alguns ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$ ,

   para alguns ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   para alguns e$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   para alguns e .n → $c < 1$$n \to \infty$

que implicam os assintóticos

1. $T \in \Theta\left( n^{\log_b a} \right)$ ,
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$ e
3. $T \in \Theta \left(f \right)$ ,

respectivamente. Observe que os casos base não são declarados ou usados ​​aqui; isso faz sentido, considerando que estamos apenas investigando o comportamento assintótico . Silenciosamente assumimos que são algumas constantes (o que mais elas podem ser. Quais constantes que não vemos são irrelevantes, todas elas desaparecem no .$\Theta$

Exemplos

1. Considere a recorrência

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$ .

   Com e - notar que vemos que um caso aplica-se com . Portanto, .b = 3 log b a ≈ 1,26 ε = 0,25 T ∈ Θ ( n log 3 4 ) = Θ ( n 1,261 …$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. Considere a recorrência

   $\qquad \displaystyle T(n) = 2T(n/2) + n$ .

   Com e - notar que , vemos que caso dois aplica-se com . Portanto, .b = 2 log b a = 1 k = 0 T ∈ Θ ( n log n $f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. Considere a recorrência

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$ .

   Com e - notar que vemos que três caso aplica-se com e . Portanto, .b = 4 log b um ≈ 0,79 ε = 0,2 c = 1 T ∈ q ( n $f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. Considere a recorrência

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   Aqui temos , e- muitos exemplos padrão terão o polinômio , mas isso não é uma regra. Temos , e o caso três se aplica novamente. Neste caso, porém, podemos escolher qualquer e como para todos os . Daí .b = 4 f ( n ) = n ! f log b a = 2 ε c > 0 n ! ∈ Ω ( n k ) k T ∈ Θ ( n ! $a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

Leitura adicional

• É bem possível que nenhum dos casos do teorema do mestre se aplique. Por exemplo, os subproblemas podem não ter tamanho igual ou ter uma forma mais complexa. Existem algumas extensões para o teorema do mestre, por exemplo Akra-Bazzi [1] ou Roura [2]. Existe até uma versão que funciona para recorrências discretas (ou seja, pisos e tetos são usados ​​nos parâmetros recursivos) e fornece resultados mais nítidos [3].

• Geralmente, você precisa massagear a relação de recorrência real que você tem em forma antes de poder aplicar o teorema do mestre. As transformações comuns que preservam os assintóticos incluem a queda de pisos e tetos, bem como a suposição de . Tome cuidado para não quebrar as coisas aqui; consulte a seção 4.6 e esta pergunta para detalhes.$n=b^k$

---

1. Sobre a solução de equações de recorrência linear por M. Akra e L. Bazzi (1998)
2. Um teorema mestre aprimorado para recorrências de dividir e conquistar por S. Roura (1997)
   ^{Refere-se a outros teoremas mestre aprimorados.}
3. Um teorema mestre para dividir discretamente e conquistar recorrências de M. Drmota e W. Szpankowski (2011)
4. Introdução aos Algoritmos por Cormen et al. (2009, 3ª edição)

Adivinha & Prove

Ou como eu gosto de chamá-lo, a técnica " ". Pode ser aplicado a todos os tipos de identidades. A ideia é simples:$\dots$

Adivinhe a solução e prove sua correção.

Este é um método popular, sem dúvida porque geralmente requer alguma criatividade e / ou experiência (boa para se exibir), mas poucas mecânicas (parece elegante). A arte aqui é fazer palpites bons e educados; a prova é (no nosso caso) geralmente uma indução mais ou menos simples.

Quando aplicado a recorrências, "adivinhar" normalmente é feito por

• expandindo a recorrência algumas vezes,
• descobrir a âncora e
• adivinhando o padrão para o intermediário (os ).$\dots$

Exemplo Simples

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

Vamos expandir a definição de algumas vezes:$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

Aqui, o padrão é fácil de identificar e nos leva à reivindicação:

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

Agora provamos a identidade por indução. Para , podemos estabelecer a correção inserindo o respectivo valor. Supondo que a identidade seja válida para todos os para um arbitrário, mas fixo , calculamos$n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

o que prova a identidade pelo poder da indução.

Se você tentar usá-lo em recorrências mais envolvidas, encontrará rapidamente a principal desvantagem desse método: pode ser difícil ver o padrão ou condensá-lo em uma boa forma fechada.

Assintóticos

É possível usar esse método também para assintóticos. Esteja ciente, no entanto, que você precisa adivinhar as constantes para os símbolos Landau, pois deve haver uma constante que estabeleça o limite para todos os , ou seja, o fator constante não pode mudar durante a indução.$n$

Considere, por exemplo, a recorrência do tempo de execução do Mergesort, simplificada para o caso de ¹:$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

Nós acho que com constante , que é . Provamos isso por indução sobre ; o passo indutivo é assim:$T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. Para sequências naturais não decrescentes, toda subsequência infinita tem o mesmo crescimento assintótico que a sequência original.

O método Akra-Bazzi

O método Akra-Bazzi fornece assintóticos para recorrências da forma: Isso abrange as recorrências usuais de dividir e conquistar, mas também os casos em que a divisão é desigual. Os "termos de falsificação" podem atender a divisões que não são exatas, por exemplo. As condições de aplicabilidade são:

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• Existem casos base suficientes para que a recorrência aconteça
• O e são todos constantes$a_i$$b_i$
• Para todos ,$i$$a_i > 0$
• Para todos os ,$i$$0 < b_i < 1$
• $\lvert g(x) \rvert = O(x^c)$ para alguma constante como$c$$x \rightarrow \infty$
• Para tudo ,$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$ é uma constante

Observe que e como a função dente de serra está sempre entre 0 e 1, substituindo (ou conforme apropriado) satisfaz as condições do .$\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

Encontre tal que: Então o comportamento assintótico de como é dado por: com "grande o suficiente", ou seja, existe para que para todos os .$p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$ $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

Exemplo A

Como exemplo, faça a recursão para , onde : As condições são satisfeitas, precisamos de : Por sorte, . Assim, temos: $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

desde que com atendemos para todos os . Observe que, como a integral converge mesmo que usemos outras constantes, como , como limite inferior, é legal usá-las também; a diferença desaparece em .$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

Exemplo B

Outro exemplo é o seguinte para : Temos , verifique. Temos que existe um único , , que faz check-out. Supondo que o seja realmente e / ou , o implícito também faz check-out. Então precisamos: Assim, , e: $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ Aplicamos um truque semelhante ao descrito acima para o limite inferior da integral, apenas que usamos porque a integral não converge para .$2$$1$

(A ajuda do maxima na álgebra é reconhecida com gratidão)

Summations

Muitas vezes, encontramos uma recorrência da forma onde é monótono. Nesse caso, podemos expandir e portanto, dado um valor inicial , para estimar precisamos estimar a soma .

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

não decrescente$f(n)$

Quando é monótono e não diminui, temos os limites óbvios Estes limites são melhor-possível no sentido de que eles são apertados para algumas funções: o limite superior para as funções constantes, e o limite inferior para as funções da etapa ( para e para ). No entanto, em muitos casos, essas estimativas não são muito úteis. Por exemplo, quando , o limite inferior é e o limite superior é , portanto, eles estão bastante distantes.$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

Integração

Uma estimativa melhor é dada pela integração: Para , isso fornece o valor correto da soma para termos de ordem inferior: Quando , podemos calcular a soma explicitamente, mas em muitos casos a computação explícita é difícil. Por exemplo, quando a antiderivada de é , e assim

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

A fórmula de Euler-Maclaurin fornece melhores estimativas. Essa fórmula pode ser usada, por exemplo, para provar formas fortes da fórmula de Stirling, estimando a soma .$\log n! = \sum_{m=1}^n \log m$

não crescente$f(n)$

Em alguns casos, é monótono e não aumenta. As estimativas triviais tornam-se e as estimativas integrais Como exemplo, para , usando , obtemos $f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Sedgewick e Flajolet fizeram um extenso trabalho em combinatória analítica , o que permite que as recorrências sejam resolvidas assintoticamente usando uma combinação de funções geradoras e análises complexas. Seu trabalho permite que muitas recorrências sejam resolvidas automaticamente e foi implementado em alguns sistemas de álgebra computacional.

Este livro sobre o assunto foi escrito por Flajolet e Sedgewick e é uma excelente referência. Uma exposição um pouco mais simples, voltada para aplicações na análise de algoritmos, é este texto de Sedgewick e Flajolet.

Espero que isto ajude!

Pode haver momentos em que você se depara com uma estranha recorrência como esta: Se você for como eu, perceberá que não pode usar o Teorema dos Mestres e poderá pensar: " hmmm ... talvez uma análise de árvore de recorrência possa funcionar. " Então você perceberia que a árvore começa a ficar nojenta muito rápido. Após algumas pesquisas na internet, você vê que o método Akra-Bazzi funcionará! Então você começa a investigar e percebe que não quer fazer todas as contas. Se você é como eu até este momento, ficará animado em saber que há uma maneira mais fácil.

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

O Teorema da Divisão Desigual

Deixe- e ser constantes positivas.$c$$k$

Então, sejam constantes positivas, de modo que .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

Também devemos ter uma recorrência do formulário (como nosso exemplo acima):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Afirmação

Então eu reivindico onde é uma constante (por exemplo, assintoticamente linear) e:$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

Prova por Indução

Base :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

Indução : Assuma verdadeiro para qualquer , então temos$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

Então temos .$T(n) \leq bn \implies T(n) = O(n)$

Exemplo

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ Primeiro, verificamos que os coeficientes dentro das chamadas recursivas somam menos de um: $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

Em seguida, verificamos que o caso base é menor que o máximo dos inversos dos coeficientes:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

Com essas condições atendidas, conhecemos onde é uma constante igual a: Portanto, temos: $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

O desigual teorema de divisão parte 2

Da mesma forma, podemos provar que há um limite para quando . A prova seguirá muito do mesmo formato:$\sum_1^k = 1$

Deixe- e ser constantes positivas tais que .$c$$k$$k > 1$

Então, sejam constantes positivas, de modo que .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

Também devemos ter uma recorrência do formulário (como nosso exemplo acima):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Afirmação

Então eu afirmo (escolhemos base porque será o fator de ramificação da árvore de recursão) em que e são constantes (por exemplo, linearmente assintoticamente lineares) ) de tal modo que:$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ e $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

Prova por Indução

Base :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

Indução : Assuma verdadeiro para qualquer , então temos$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

Então temos .$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

Exemplo

Vamos modificar o exemplo anterior que usamos um pouquinho:

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

Primeiro, verificamos que os coeficientes das chamadas recursivas somam um:

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

Em seguida, verificamos que o caso base é menor que o máximo dos inversos dos coeficientes:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

Com estas condições atendidas, nós sabemos onde e é uma constante igual a: Portanto, temos: $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

Depois de verificar este post novamente, estou surpreso que ainda não esteja aqui.

Transformação de Domínio / Alteração de Variáveis

Ao lidar com recorrências, às vezes é útil poder alterar seu domínio se não estiver claro o quão profunda será a pilha de recursão.

Por exemplo, considere a seguinte recorrência:

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

Como poderíamos resolver isso? Poderíamos expandir a série, mas eu prometo que isso ficará nojento muito rápido. Em vez disso, vamos considerar como nossa entrada muda a cada chamada.

Primeiro temos:

1. $n$ então
2. $2^{2^{\sqrt{\log \log n}}}$ , em seguida,
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$ e assim por diante.

O objetivo de uma transformação de domínio agora será transformar nossa recorrência em um equivalente, de modo que, em vez das transições acima, simplesmente tenhamos .$S(k)$$k, k-1, k-2, \ldots$

Por exemplo, se deixarmos , é o que obtemos para a recorrência acima: Então podemos simplesmente reescrevê-lo como: Então tudo o que você precisa fazer é converter volta em para obter: $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

Com este exemplo, agora podemos ver nosso objetivo.

Assuma Para alguma constante e funções e .

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

Estamos agora a tentar encontrar alguma função e de tal forma que $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

De maneira mais geral, queremos onde é a aplicação repetida de em , vezes. (por exemplo, ). Isso permitirá que atue como a função "iterativa". Onde, na profundidade da recursão, o trabalho realizado é simplesmente .$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

Em seguida, pode converter facilmente esta a de modo a que , em seguida, que só tem que se preocupar somando para todos os até um determinado caso base. Ou seja, $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

Se podemos determinar para alguma função forma fechada , então podemos determinar como $S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

Então, usamos isso para obter um limite em através de um dos outros métodos acima. Obviamente, você pode modificar esse método um pouco de acordo com suas especificações, mas, em geral, está tentando encontrar uma função iterativa para transformar em uma simples recursão.$T(n)$$g(k)$$T(n)$

Não conheço uma maneira exata de determinar neste momento, mas continuarei pensando sobre isso e atualizarei se ficar mais claro (ou se algum comentarista tiver algumas dicas!). Eu encontrei principalmente minhas funções por tentativa e erro no passado (veja aqui , aqui , aqui e aqui para exemplos).$g(k)$$g(k)$

Há mais uma abordagem que funciona para relações de recorrência simples: peça ao Wolfram Alpha para resolver a recorrência para você.

Por exemplo, tente digitar f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)Wolfram Alpha. Você obterá uma solução, com um link para os números de Fibonacci. Ou tente f(1)=1, f(n)=f(n-1)+nou f(1)=1, f(n)=2*f(n-1)+3*nou f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3para outros exemplos. No entanto, esteja avisado: o Wolfram Alpha pode resolver algumas recorrências muito simples, mas se desfaz das mais complexas.

Essa abordagem evita a necessidade de qualquer pensamento, que pode ser visto como um bug ou um recurso.

O caso 2 do teorema mestre, como geralmente afirmado, lida apenas com recorrências da forma na qual para . O teorema a seguir, retirado de uma apostila de Jeffrey Leon, fornece a resposta para negativo :$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

Considere a recorrência com um caso base apropriado.$T(n) = a T(n/b) + f(n)$

1. Se para então .$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. Se para então .$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. Se para então )$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

A prova usa o método de substituição repetida, como esboçamos agora. Suponha que e . Então, para uma potência de , Agora vamos considerar os casos um por um. Quando , a série converge e, portanto, . Quando , a soma é a soma harmônica e, portanto,$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$ . Quando , podemos aproximar a soma usando uma integral: e portanto, .$c > 0$ $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$