Como O e Ω se relacionam com o pior e o melhor caso?

Hoje discutimos em uma palestra um algoritmo muito simples para encontrar um elemento em uma matriz classificada usando pesquisa binária . Nos pediram para determinar sua complexidade assintótica para uma matriz de $n$ elementos.

Minha idéia era que, obviamente, é ou seja mais específico porque é o número de operações no pior caso. Mas posso fazer melhor, por exemplo, se eu acertar o elemento pesquisado pela primeira vez - o limite inferior será .$O(\log n)$$O(\log_2 n)$$\log_2 n$$\Omega(1)$

O palestrante apresentou a solução como pois geralmente consideramos apenas as entradas dos piores casos para os algoritmos.$\Theta(\log n)$

Mas, ao considerar apenas os piores casos, qual é o objetivo de obter a notação e quando todos os piores casos do problema em questão têm a mesma complexidade ( seria tudo o que precisamos, certo?).$O$$\Omega$$\Theta$

O que estou perdendo aqui?

A notação Landau denota limites assintóticos nas funções . Veja aqui uma explicação das diferenças entre , Ω e Θ .$O$$\Omega$$\Theta$

O pior, o melhor, o médio ou o nome do caso descrevem funções distintas do tempo de execução: uma para a sequência do tempo de execução mais alto de qualquer , uma para a do menor, e assim por diante.$n$

Por si só, os dois não têm nada a ver um com o outro. As definições são independentes. Agora podemos avançar e formular limites assintóticos nas funções de tempo de execução: superior ( ), inferior ( Ω ) ou ambos ( Θ ). Podemos fazer o pior, o melhor ou qualquer outro caso.$O$$\Omega$$\Theta$

Por exemplo, na pesquisa binária, obtemos um melhor tempo de execução assintótico de e um pior caso de assintótico de Θ ( log n ) .$\Theta(1)$$\Theta(\log n)$

Considere o seguinte algoritmo (ou procedimento, parte do código ou qualquer outra coisa):

Contrive(n)
1. if n = 0 then do something Theta(n^3)
2. else if n is even then
3.    flip a coin
4.    if heads, do something Theta(n)
5.    else if tails, do something Theta(n^2)
6. else if n is odd then
7.    flip a coin
8.    if heads, do something Theta(n^4)
9.    else if tails, do something Theta(n^5)

Qual é o comportamento assintótico dessa função?

No melhor dos casos (onde é par), o tempo de execução é Ω ( n ) e O ( n 2 ) , mas não Θ de nada.$n$$\Omega(n)$$O(n^2)$$\Theta$

No pior caso (onde é ímpar), o tempo de execução é Ω ( n 4 ) e O ( n 5 ) , mas não Θ de nada.$n$$\Omega(n^4)$$O(n^5)$$\Theta$

No caso , o tempo de execução é Θ ( n 3 ) .$n = 0$$\Theta(n^3)$

Este é um exemplo um pouco artificial, mas apenas com o objetivo de demonstrar claramente as diferenças entre o limite e o caso. Você poderia ter a distinção tornar-se significativa com procedimentos totalmente deterministas, se as atividades que você está executando não tem nenhum conhecidos limites.$\Theta$

Não necessariamente. Nesse caso, ou seja, pesquisa binária em uma matriz classificada, você pode ver que: (a) a pesquisa binária leva no máximo etapas; (b) existem insumos que realmente forçam tantos passos. Portanto, se T ( n ) é o tempo de execução em uma entrada de pior caso para pesquisa binária, você pode dizer que T ( n ) = Θ ( log n ) .$[\log n + 1]$$T(n)$$T(n) = \Theta(\log n)$

Por outro lado, para outros algoritmos, talvez você não consiga calcular exatamente; nesse caso, poderá haver um espaço entre os limites superior e inferior para o tempo de execução na entrada do pior caso.$T(n)$

Agora, para pesquisar uma matriz classificada, algo mais é verdadeiro: qualquer algoritmo para pesquisar uma matriz classificada precisa inspecionar . Para esse tipo de limite inferior, você precisa analisar o problema em si. (Aqui está a idéia: a qualquer momento, um algoritmo de pesquisa não descartou algumas posições S ⊂ [ n ] definidas de posições onde o elemento que ele está procurando pode estar. Uma entrada cuidadosamente criada pode garantir que | S | seja reduzido por no máximo um fator de 2. )$[\log n + 1]$$S\subset [n]$$|S|$$2$

Você está certo, muitas pessoas desleixadamente usam $O$ quando devem usar $\Theta$ . Por exemplo, um analista de algoritmos pode terminar com uma função de tempo $% T(n)=n^{2}+n+2$ e concluir imediatamente que $T(n)=O(n^{2})$ , o que é tecnicamente correto, mas uma afirmação mais precisa seria$T(n)=\Theta (n^{2})$ . Atribuo esse comportamento inconsciente a duas razões. Primeiro, muitos vêem$O$ser mais popular e aceitável, possivelmente por causa de sua longa história. Lembre-se de que foi introduzido há mais de um século, enquanto $\Theta$ (e $% \Omega$ ) foram introduzidos apenas em 1976 (por Donald Knuth). Segundo, pode ser porque $O$ está prontamente disponível no teclado, enquanto $\Theta$ não está!

Do ponto de vista técnico, no entanto, a principal razão pela qual analistas cuidadosos preferem usar $O$ mais $\Theta$ é que o primeiro cobre "um território maior" do que o segundo. Se tomarmos o exemplo de busca binária e quer usar $\Theta$ , vamos ter que fazer duas afirmações: \ um para o melhor caso, ou seja, $\Theta (1)$ , e outra para o pior caso, ou seja, $% \Theta (\log n)$ . Com $O$ , fazemos apenas uma afirmação, a saber $O(\log n)$ . Matematicamente, as funções cobertas por $\Theta$ também são cobertas por $O$, enquanto o inverso não é necessariamente verdadeiro.