Classificando funções por crescimento assintótico

Suponha que eu tenha uma lista de funções, por exemplo

$\qquad n^{\log \log(n)}, 2^n, n!, n^3, n \ln n, \dots$

Como os classifico assintoticamente, ou seja, após a relação definida por

$\qquad f \leq_O g \iff f \in O(g)$ ,

assumindo que eles são realmente comparáveis ​​aos pares (veja também aqui )? Usar a definição de $O$ parece estranho, e muitas vezes é difícil provar a existência de constantes adequadas $c$ e $n_0$ .

Trata-se de medidas de complexidade, por isso estamos interessados ​​no comportamento assintótico como $n \to +\infty$ , e assumimos que todas as funções assumem apenas valores não negativos ( $\forall n, f(n) \ge 0$ ).

Se você deseja uma prova rigorosa, o lema a seguir geralmente é útil. mais útil que as definições.

Se existe, então$c = \lim_{n\to\infty} \frac{f(n)}{g(n)}$

• ,$c=0 \qquad \ \,\iff f \in o(g)$
• e$c \in (0,\infty) \iff f \in \Theta(g)$
• .$c=\infty \quad \ \ \ \iff f \in \omega(g)$

Com isso, você poderá ordenar a maioria das funções apresentadas na análise de algoritmos¹. Como exercício, prove!

Claro que você deve poder calcular os limites de acordo. Alguns truques úteis para dividir funções complicadas em funções básicas são:

• Expresse ambas as funções como e compare os expoentes; se a proporção deles tender para 0 ou ∞ , o quociente original também.$e^{\dots}$$0$$\infty$

• De maneira mais geral: se você tiver uma função convexa, continuamente diferenciável e aumentando estritamente para que você possa reescrever seu quociente como$h$

  ,$\qquad \displaystyle \frac{f(n)}{g(n)} = \frac{h(f^*(n))}{h(g^*(n))}$

  com e$g^* \in \Omega(1)$

  ,$\qquad \displaystyle \lim_{n \to \infty} \frac{f^*(n)}{g^*(n)} = \infty$

  então

  .$\qquad \displaystyle \lim_{n \to \infty} \frac{f(n)}{g(n)} = \infty$

  ^{Veja aqui uma prova rigorosa desta regra (em alemão).}

• Considere continuações de suas funções sobre os reais. Agora você pode usar a regra do L'Hôpital ; esteja atento às suas condições²!

• Dê uma olhada no equivalente discreto, Stolz – Cesàro .

• Quando os fatoriais aparecerem, use a fórmula de Stirling :

  $\qquad \displaystyle n! \sim \sqrt{2 \pi n} \left(\frac{n}{e}\right)^n$

Também é útil manter um conjunto de relações básicas que você prova uma vez e usa com frequência, como:

• logaritmos crescem mais lentamente que os polinômios,

  para todos α , β > 0 .$\qquad\displaystyle (\log n)^\alpha \in o(n^\beta)$$\alpha, \beta > 0$

• ordem dos polinômios:

  para todos osα<β.$\qquad\displaystyle n^\alpha \in o(n^\beta)$$\alpha < \beta$

• os polinômios crescem mais lentamente que os exponenciais:

  para todosαec>1.$\qquad\displaystyle n^\alpha \in o(c^n)$$\alpha$$c > 1$

---

Pode acontecer que o lema acima não seja aplicável porque o limite não existe (por exemplo, quando as funções oscilam). Nesse caso, considere a seguinte caracterização das classes Landau usando limões superior / inferior :

Com temos$c_s := \limsup_{n \to \infty} \frac{f(n)}{g(n)}$

• e$0 \leq c_s < \infty \iff f \in O(g)$
• .$c_s = 0 \iff f \in o(g)$

Com temos$c_i := \liminf_{n \to \infty} \frac{f(n)}{g(n)}$

• e$0 < c_i \leq \infty \iff f \in \Omega(g)$
• .$c_i = \infty \iff f \in \omega(g)$

Além disso,

• e$0 < c_i,c_s < \infty \iff f \in \Theta(g) \iff g \in \Theta(f)$
• .$c_i = c_s = 1 \iff f \sim g$

---

Verifique aqui e aqui se você está confuso com a minha notação.

---

Ben Nota bene: Meu colega escreveu uma função do Mathematica que faz isso com êxito em muitas funções, portanto o lema realmente reduz a tarefa à computação mecânica.

² Veja também aqui .

Outra dica: às vezes, aplicar uma função monótona (como log ou exp) às funções torna as coisas mais claras.

Skiena fornece uma lista ordenada das relações de dominância entre as funções mais comuns em seu livro, The Algorithm Design Manual:

$$n!\gg c^n \gg n^3 \gg n^2 \gg n^{1+\epsilon} \gg n \lg n \gg n \gg n^{1/2}$$ $$\gg \lg^2n \gg \lg n \gg \frac{\lg n}{\lg\lg n} \gg \lg\lg n \gg \alpha(n) \gg 1$$

Aqui $\alpha(n)$ denota a função inversa de Ackermann .

Dica: desenhe gráficos dessas funções usando algo como Wolfram Alpha para ter uma ideia de como elas crescem. Observe que isso não é muito preciso, mas se você tentar por números suficientemente grandes, deverá ver os padrões comparativos de crescimento. Obviamente, isso não substitui uma prova.

Por exemplo, tente: log de plotagem (log (n)) de 1 a 10000 para ver um gráfico ou log de plotagem individual (log (n)) e log de plotagem (n) de 1 a 10000 para ver uma comparação.

Sugiro proceder de acordo com as definições de várias notações. Comece com um par de expressões arbitrário e determine a ordem delas, conforme descrito abaixo. Em seguida, para cada elemento adicional, encontre sua posição na lista classificada usando a pesquisa binária e comparando como abaixo. Então, por exemplo, vamos classificar$n^{\log\log n}$ e $2^n$, as duas primeiras funções de n, para iniciar a lista.

Usamos a propriedade que $n = 2^{\log n}$ reescrever a primeira expressão como $n^{\log\log n} = (2^{\log n})^{\log\log n} = 2^{\log n\log\log n}$. Poderíamos então usar a definição para mostrar que$n^{\log\log n} = 2^{\log n\log\log n} \in o(2^n)$, já que para qualquer constante $c > 0$, há um $n_0$ tal que para $n \geq n_0$, $c(n^{\log\log n}) = c(2^{\log n\log\log n}) < 2^n$.

Next, we try $3^n$. We compare it to $2^n$, the largest element we have placed so far. Since $3^n = (2^{\log 3})^n = 2^{n\log3}$, we similarly show that $2^n \in o(3^n) = o(2^{n \log 3})$.

Etc.

Aqui está uma lista da Wikipedia : Quanto menor na tabela, maior a classe de complexidade;

$$\begin{array}{|l|l|} \hline Name & \text{Running Time} \\ \hline \text{Constant time} & \mathcal{O}(1) \\ \text{Inverse Ackermann time} & \mathcal{O}(a(n)) \\ \text{Iterated logarithmic time} & \mathcal{O}(\log^*n) \\ \text{Log-logarithmic} & \mathcal{O}(n \log n) \\ \text{Logarithmic time} & \mathcal{O}(\log n) \\ \text{Polylogarithmic time} & poly(\log n) \\ \text{Fractional power} & \mathcal{O}(n^c) ,\text{where } 0<c<1 \\ \text{Linear time} & \mathcal{O}(n) \\ \text{"n log star n" time} & \mathcal{O}(n \log^* n) \\ \text{Quasilinear time} & \mathcal{O}(n \log n) \\ \text{Quadratic time} & \mathcal{O}(n^2) \\ \text{Cubic time} & \mathcal{O}(n^3) \\ \text{Polynomial time} & poly(n) = 2^{\mathcal{O}(\log n)} \\ \text{Quasi-polynomial time} & 2^{\mathcal{O}(poly(\log n))} \\ \text{Sub-exponential time (first definition)} & \mathcal{O}(2^{n^{\epsilon}}), \epsilon >0 \\ \text{Sub-exponential time (second definition)} & 2^{\mathcal{o}(n)}\\ \text{Exponential time(with linear exponent)} & 2^{\mathcal{O}(n)} \\ \text{Exponential time} & 2^{poly(n)} \\ \text{Factorial time} & \mathcal{O}(n!) \\\hline \end{array}$$

Nota : $poly(x) = x^{\mathcal{O}(1)}$