Como provar que um idioma não é regular?

Aprendemos sobre a classe de idiomas regulares . É caracterizado por qualquer conceito entre expressões regulares, autômatos finitos e gramáticas lineares à esquerda, portanto é fácil mostrar que um determinado idioma é regular.$\mathrm{REG}$

Como mostro o oposto? Meu TA tem sido inflexível que, para fazer isso, teríamos que mostrar para todas as expressões regulares (ou para todos os autômatos finitos ou para todas as gramáticas lineares à esquerda) que eles não podem descrever o idioma em questão. Parece uma grande tarefa!

Eu li sobre algum lema de bombeamento, mas parece realmente complicado.

^{Esta pretende ser uma pergunta de referência, coletando métodos de prova usuais e exemplos de aplicação. Veja aqui a mesma pergunta sobre linguagens sem contexto.}

A prova de contradição é frequentemente usada para mostrar que um idioma não é regular: deixe uma propriedade verdadeira para todos os idiomas regulares, se o seu idioma específico não verificar , ele não será regular. As seguintes propriedades podem ser usadas:$P$$P$

1. O lema do bombeamento, como exemplificado na resposta de Dave ;
2. Propriedades de fechamento de linguagens regulares (operações definidas, concatenação, estrela Kleene, espelho, homomorfismos);
3. Uma linguagem regular possui um número finito de classe de equivalência de prefixos, teorema de Myhill – Nerode .

Para provar que um idioma não é regular usando propriedades de fechamento, a técnica é combinar com idiomas regulares por operações que preservam a regularidade para obter um idioma conhecido como não regular, por exemplo, o idioma arquetípico . Por exemplo, deixe . Suponha que é regular, como línguas regulares são fechados sob complementação assim é 's complemento . Agora faça a interseção de e que é regular, obtemos que não é regular.L I = { a n b n | n ∈ N } L = { a p b q | p ≠ q } G G G C G C um ⋆ b ⋆$L$$L$$I= \{ a^n b^n | n \in \mathbb{N} \}$$L= \{a^p b^q | p \neq q \}$$L$$L$$L^c$$L^c$$a^\star b^\star$$I$

O teorema de Myhill-Nerode pode ser usado para provar que não sou regular. Para , . Todas as classes são diferentes e há um infinito contável de tais classes. Como uma linguagem regular deve ter um número finito de classes, não sou regular.p ≥ 0 I / a p = { a r b r b p | r ∈ N } = I . { b p } $I$$p \geq 0$$I/a^p= \{ a^{r}b^rb^p| r \in \mathbb{N} \}=I.\{b^p\}$$I$

Com base na resposta de Dave, aqui está um "manual" passo a passo para usar o lema de bombeamento.

Lembre-se do lema de bombeamento (extraído da resposta de Dave, extraído da Wikipedia):

Seja uma linguagem regular. Existe um número inteiro (dependendo apenas de ), de modo que cada string em de comprimento pelo menos ( é chamado de "comprimento de bombeamento") possa ser escrita como (ou seja, pode ser dividido em três substrings), satisfazendo as seguintes condições:$L$$n\ge 1$$L$$w$$L$$n$$n$$w = xyz$$w$

1. $|y| \ge 1$
2. $|xy| \le n$ e
3. um "bombeado" ainda está em : para todos , . $w$$L$$i \ge 0$$xy^iz \in L$

Suponha que você receba algum idioma e deseje mostrar que ele não é regular através do lema de bombeamento. A prova é assim:$L$

1. Suponha que seja regular.$L$
2. Se for regular, o lema do bombeamento diz que existe algum número que é o comprimento do bombeamento.$n$
3. Escolha uma palavra específica de comprimento maior que . A parte difícil é saber qual palavra levar.$w\in L$$n$
4. Considere TODAS as formas de particionar em 3 partes, , com e não vazios. Para cada uma destas formas, mostram que ele não pode ser bombeado: sempre existe algum tais que .$w$$w=xyz$$|xy|\le n$$y$i ≥ 0 x y i z ∉ L$i\ge 0$$xy^iz \notin L$
5. Conclua: a palavra não pode ser "bombeada" (não importa como a dividimos em ) em contradição com o lema de bombeamento, ou seja, nossa suposição (etapa 1) está errada: não é regular.$w$$xyz$$L$

Antes de darmos um exemplo, deixe-me reiterar as etapas 3 e 4 (é aqui que a maioria das pessoas erra). Na Etapa 3, você precisa escolher uma palavra específica em . escreva-o explicitamente, como "00001111" ou " ". Exemplos de coisas que não são uma palavra específica: " " ou "uma palavra que tem 000 como prefixo".$L$$a^nb^n$ w$w$

Por outro lado, na Etapa 4, você precisa considerar mais de um caso. Por exemplo, se , não basta dizer e, em seguida, chegar a uma contradição. Você também deve verificar , e , e todas as outras opções possíveis.$w=000111$$x=00, y=01, z=00$$x=0, y=0, z=0111$$x=\epsilon, y=000, z=111$

Agora vamos seguir as etapas e provar que não é regular.$L= \{ 0^k1^{2k} \mid k>0 \}$

1. Suponha que seja regular.$L$
2. Seja o comprimento de bombeamento fornecido pelo lema de bombeamento.$n$
3. Seja . (verificação de integridade: conforme necessário. Por que essa palavra? outras palavras também podem funcionar .. é preciso alguma experiência para encontrar o certo ). Novamente, observe que é uma palavra específica: .$w = 0^n 1^{2n}$ | w | > n w w 000 … 0 ⏟ n  vezes 111 … 1 ⏟ 2 n  vezes
   $|w|\gt n$$w$$w$$\underbrace{000\ldots0}_{n \text{ times}}\underbrace{111\ldots1}_{2n \text{ times}}$
4. Agora vamos começar a considerar os vários casos para dividir em com e . Como não importa como dividimos , consistirá em apenas 0 e . Vamos supor e . Precisamos considerar todas as opções, ou seja, todos os possíveis tal que e . PARA ESTE a prova para todos esses casos é o mesmo, mas em geral pode ser diferente. tome e considere$w$$xyz$$|xy|\le n$$|y|>0$$|xy|<n$$w$$x$$y$$|x|=s$$|y|=k$$s,k$$s\ge 0, k\ge 1$$s+k \le n$L i = 0 x y i z = x z L$L$
   $i=0$$xy^iz = xz$ . esta palavra não está em , uma vez que é da forma (não importa o que e foram), e desde que , esta palavra não está em e chegamos a uma contradição .$L$$0^{n-k}1^{2n}$$s$$k$$k \ge 1$$L$
5. Assim, nossa suposição está incorreta e não é regular.$L$

Um clipe do youtube que explica como usar o lema de bombeamento nas mesmas linhas pode ser encontrado aqui

Na Wikipedia, o idioma de bombeamento para idiomas regulares é o seguinte:

Seja uma linguagem regular. Existe um número inteiro (dependendo apenas de ), de modo que cada string em de comprimento pelo menos ( é chamado de "comprimento de bombeamento") possa ser escrita como (ou seja, pode ser dividido em três substrings), satisfazendo as seguintes condições:p ≥ 1 L w L p p w = x y z $L$$p\ge 1$$L$$w$$L$$p$$p$$w = xyz$$w$

1. $|y| \ge 1$
2. $|xy| \le p$ e
3. para todos , . é a substring que pode ser bombeada (removida ou repetida várias vezes e a sequência resultante está sempre em ). x y i z ∈ L y $i \ge 0$$xy^iz \in L$
   $y$$L$

(1) significa que o circuito y a ser bombeado deve ter pelo menos um comprimento; (2) significa que o loop deve ocorrer dentro dos primeiros caracteres p. Não há restrição para x e z.

Em palavras simples, para qualquer idioma regular L, qualquer palavra suficientemente longa pode ser dividida em 3 partes. isto é , de modo a que todas as cordas para também estão em .w = x y z x y k z k ≥ 0 $w\in L$$w = xyz$$xy^kz$$k\ge 0$$L$

Agora vamos considerar um exemplo . Seja .$L=\{(01)^n2^n\mid n\ge0\}$

Para mostrar que isso não é regular, é necessário considerar como são todas as decomposições , para que todas as coisas possíveis x, ye z possam ser dadas que (escolhemos olhar para esta palavra em particular, de comprimento , onde é o comprimento de bombeamento). Precisamos considerar onde a parte da string ocorre. Pode se sobrepor à primeira parte e, portanto, será igual a , , ou , para alguns (não esqueça disso ). Pode se sobrepor à segunda parte, significando quex y z = ( 01 ) p 2 p 3 p p y ( 01 ) k + 1 ( 10 ) k + 1 1 ( 01 ) k 0 ( 10 ) k k ≥ 0 | y | ≥ 1 y = 2 k k > 0 ( 01 ) k $w=xyz$$xyz=(01)^p2^p$$3p$$p$$y$$(01)^{k+1}$$(10)^{k+1}$$1(01)^k$$0(10)^k$$k\ge 0$$|y|\ge 1$$y=2^k$, para alguns . Ou pode se sobrepor entre as duas partes da palavra e terá a forma , , ou , para e .$k>0$ (10 ) k + 1 2 l 1(01 ) k 2 l 0(10 ) k 2 l k≥0l≥$(01)^{k+1} 2^l$$(10)^{k+1} 2^l$$1(01)^k 2^l$$0(10)^k 2^l$$k\ge0$$l\ge1$

Agora bombeie cada uma delas para obter uma contradição, que será uma palavra que não está no seu idioma. Por exemplo, se tomarmos , o lema de bombeamento diz, por exemplo, que deve estar no idioma , para uma escolha apropriada de e . Mas essa palavra não pode estar no idioma, pois aparece antes de . x y 2 z = x 0 ( 10 ) k 2 l 0 ( 10 ) k 2 l z x z 2 $y=0(10)^k2^l$$xy^2z=x0(10)^k2^l0(10)^k2^lz$$x$$z$$2$$1$

Outros casos resultarão no número de sendo maior que o número de ou vice-versa, ou resultarão em palavras que não terão a estrutura , por exemplo, tendo dois seguidos.2 ( 01 ) n 2 n$(01)$$2$$(01)^n2^n$$0$

Não esqueça que . Aqui, é útil encurtar a prova: muitas das decomposições acima são impossíveis porque tornariam a parte muito longa.$|xy| \le p$$z$

Cada um dos casos acima precisa levar a essa contradição, que seria então uma contradição do lema de bombeamento. Voila! O idioma não seria regular.

Para um determinado idioma , deixe$L \subseteq \Sigma^*$

$\qquad \displaystyle S_L(z) = \sum\limits_{n \geq 0} |L \cap \Sigma^n|\cdot z^n$

a função geradora (comum) de , ou seja, sua sequência de palavras conta por comprimento.$L$

A seguinte declaração contém [ FlSe09 , p52]:

$\qquad \displaystyle L \in \mathrm{REG} \quad \Longrightarrow \quad S_L \text{ rational}$

Ou seja, com polinômios$S_L(z) = \frac{P(z)}{Q(z)}$$P,Q$

Portanto, qualquer linguagem cuja função geradora não seja racional não é regular. Infelizmente, todas as linguagens lineares também têm funções geradoras racionais¹, portanto, esse método não funcionará nas linguagens não regulares mais simples. Outra desvantagem é que obter (e mostrar que não é racional) pode ser difícil.$S_L$

Exemplo: considere o idioma das palavras entre parênteses aninhadas corretamente, ou seja, o idioma Dyck . É gerado pela gramática inequívoca

$\qquad \displaystyle S \to [S]S \mid \varepsilon$

que pode ser traduzido na equação

$\qquad \displaystyle S(z) = z^2S^2(z) + 1$

uma solução (aquela com todos os coeficientes positivos) da qual é

$\qquad \displaystyle \mathcal{S}(z) = \frac{1 - \sqrt{1 - 4z^2}}{2z^2}$ .

Como [ Kuic70 ] e não é racional, a linguagem Dyck não é regular.$S_L = \mathcal{S}$$\mathcal{S}$

1. A prova da afirmação para idiomas regulares funciona através de gramáticas e transfere para gramáticas lineares imediatamente (comutatividade da multiplicação).

$\ \ $ [FlSe09] Combinatória analítica por P. Flajolet e R. Sedgewick (2009) [Kuic70] Sobre a entropia de idiomas livres de contexto por W. Kuich (1970)
$\ \ $

Esta é uma versão expandida da minha resposta aqui. Usar o Lemma de bombeamento para provar que o idioma não é regular,$L = \{(01)^m 2^m \mid m \ge0\}$ pois é uma pergunta de referência.

Então, você acha que o lema de bombeamento parece complicado? Não se preocupe. Aqui está uma abordagem de abordagem um pouco diferente, que também está oculta na resposta de @ Romuald. (Quiz: onde?)

Vamos começar lembrando que toda linguagem comum é aceita por um autômato determinístico de estado finito (DFA). Um DFA é um gráfico direcionado finito, onde cada vértice possui exatamente uma borda externa para cada letra do alfabeto. As strings fornecem um passeio no gráfico com base em um vértice denominado "start", e o DFA aceita se essa caminhada termina em um vértice rotulado como "accept". (Os vértices são chamados de "estados" porque diferentes áreas da matemática gostam de criar sua própria terminologia para a mesma coisa.)

Com esta maneira de pensar, é fácil ver que: Se cordas e conduzir o DFA para o mesmo estado, em seguida, para qualquer outra seqüência de , e conduzir o DFA para o mesmo estado. $a$$b$$c$$ac$$bc$Por quê? Porque o ponto de referência de uma caminhada e a sequência que a define determinam o fim completamente.

Coloque um pouco diferente: Se é regular e amarra e dirigir um autômato reconhecendo ao mesmo estado, em seguida, para todas as cordas , ou e estão ambos em ou não é.$L$$a$$b$$c$$ac$$bc$$L$

Podemos usar isso para mostrar que os idiomas não são regulares, imaginando que é e, em seguida, criando e direcionando um DFA para o mesmo estado, para que esteja no idioma e não. Pegue o idioma de exemplo da resposta de @ Dave. Imagine que é regular, portanto, há alguns reconhecendo o DFA com estados. O Pigeon Buraco Princípio diz que pelo menos dois dos enviar o DFA para o mesmo estado, dizer e . Como , vemos que está no idioma e$a$$b$$c$$ac$$bc$$m$$\{(01)^i : 0\le i\le m+1\}$$a=(01)^p$$b=(01)^q$$p\neq q$$a2^p$$b2^p$ não é, então esse idioma não pode ser regular.

O bom é que o exemplo é realmente um modelo para provar que os idiomas não são regulares:

• Encontre uma família de cadeias com a propriedade de que cada uma delas tenha uma "cauda" para que esteja no idioma e , pois não.$\{a_i :i\in\mathbb{N}\}$$t_i$$a_it_i$$a_it_j$$i\neq j$
• Aplique o argumento acima literalmente. (Isso é permitido, pois sempre há suficiente para permitir que você invoque o Princípio do Buraco dos Pombos.)$a_i$

Existem outros truques, mas este funcionará facilmente na maioria dos problemas de sua lição de casa.

Edit: Uma versão anterior teve alguma discussão de como esta idéia se relaciona com o lema de bombeamento.

Seguindo a resposta aqui , descreverei um método para provar a não regularidade com base na complexidade de Kolmogorv.

Essa abordagem é discutida em "Uma Nova Abordagem da Teoria da Linguagem Formal pela Complexidade de Kolmogorov" , de Ming Li e Paul MB Vitanyi (consulte a seção 3.1).

Deixe denotar a complexidade Kolmogorov de uma string , ou seja, o comprimento da codificação mais curta de uma máquina de Turing , de modo que (qualquer uma das definições usuais fará). Pode-se então usar o seguinte lema para provar a não regularidade:$K(x)$$x$$M$$M(\epsilon)=x$

KC-Regularidade : Seja uma linguagem regular, existe uma constante que depende apenas de , de modo que, para todo , se é a n- string ( relativo à ordenação lexicográfica) em , então .$L\subseteq \Sigma^*$$c$$L$$x\in\Sigma^*$$y$$n'th$$L_x=\left\{y\in \Sigma^*|xy\in L\right\}$$K(y)\le O(\log n)+c$

Pode-se entender (e provar) o lema acima da seguinte forma, para qualquer , para descrever a n- string em é necessário especificar:$x\in\Sigma^*$$n'th$$L_x$

• O autômato que aceita$L$
• O estado no autômato após o processamento do prefixo$x$
• O índice$n$

Uma vez que só precisa se lembrar o estado após o processamento , e não em si, podemos esconder esse fator na constante dependendo . O índice requer bits para descrever, e obtemos o resultado acima (para completar, é necessário adicionar as instruções específicas necessárias para gerar , mas isso adiciona apenas um fator constante à descrição final).$x$$x$$L$$n$$\log n$$y$

Este lema mostra como vincular a complexidade Kolmogorov de todas as strings que são membros de para algum idioma regular e . Para mostrar não regularidade, pode-se assumir que é regular e provar que os limites são muito restritivos (por exemplo, complexidade limitada de Kolmogrov para um conjunto infinito de strings).$L_x$$L$$x\in\Sigma^*$$L$

A resposta vinculada acima contém um exemplo de como usar esse lema para mostrar não é regular, vários outros exemplos são dados no trabalho. Para completar, mostramos aqui como provar não é regular.$L=\left\{1^p | \text{p is prime}\right\}$$L=\left\{0^n1^n| n\ge 0\right\}$

Dado algum , denotamos por a - palavra em . Observe que . Usando o lema acima, concentrando-se nos prefixos da forma fixando , obtemos . Como , isso significa que podemos vincular a complexidade Kolmogorov de todas as cadeias de caracteres da forma por uma constante, o que é obviamente falso. Vale ressaltar que poderíamos ter examinado um único , por exemplo, para um número suficientemente grande de$x\in\left\{0,1\right\}^*$$y_i^x$$i'th$$L_x$$y_1^{0^i}=1^i$$x$$x=0^i$$n=1$$\forall i\ge 0 : K(y_1^{0^i})\le c$$y_1^{0^i}=1^i$$1^i$$x$$x=0^n$$n$que satisfaz (começamos com um prefixo de alta complexidade). Como , obtemos , contradição (suponha que ).$K(0^n)\ge \log n$$y_1^x=1^n$$K(1^n)<c$$n>2^c$

No caso de idiomas unários (idiomas acima de um alfabeto de tamanho 1), existe um critério simples. Vamos corrigir um alfabeto e, para , defina $\{ \sigma \}$$A \subseteq \mathbb{N}$

Teorema. Deixe . Os seguintes são equivalentes:$A \subseteq \mathbb{N}$

1. $L(A)$ é regular.

2. $L(A)$ é livre de contexto.

3. Existem de tal modo que para todos , é válido que sse . (Dizemos que é eventualmente periódico .)$n_0,m \geq 1$$n \geq n_0$$n \in A$$n+m \in A$$A$

4. Deixe . Então é racional.$a_i = 1_{i \in A}$$0.a_0a_1a_2\ldots$

5. A função geradora é uma função racional.$\sum_{i \in A} x^i$

O teorema pode ser provado de várias maneiras, por exemplo, usando o lema de bombeamento, a teoria de Myhill – Nerode, o teorema de Parikh, a estrutura dos DFAs em linguagens unárias (eles se parecem com um " ", como no algoritmo Pollard) e em breve. Aqui está um corolário útil.$\rho$$\rho$

Corolário. Deixe e suponha que seja regular.$A \subseteq \mathbb{N}$$L(A)$

1. O limite existe. (Esta é a densidade assintótica de )$\rho = \lim_{n\to\infty} \frac{|A \cap \{1,\ldots,n\}|}{n}$$A$

2. Se então é finito.$\rho = 0$$A$

3. Se então é cofinito (ou seja, é finito).$\rho = 1$$A$$\overline{A}$

Como exemplo, o idioma não é regular, pois o conjunto possui densidade assintótica em desaparecimento, mas é infinito.$L(\{2^n : n \geq 0\})$

A classe de idiomas regulares é encerrada sob várias operações de fechamento, como união, interseção, complemento, homomorfismo, substituição regular, homomorfismo inverso e muito mais. Isso pode ser usado para provar que um determinado idioma não é regular por redução para um idioma que já é conhecido como não regular.

Como um exemplo muito simples, suponha que sabemos que o idioma não é regular. Então, podemos provar que a linguagem (a língua de todas as palavras com igualmente muitos s e s) não é regular da seguinte maneira:$\{a^nb^n : n \geq 0\}$$\{w \in \{a,b\}^* : \#_a(w) = \#_b(w)\}$$a$$b$

Suponha que seja regular. Então também seria regular. Mas , que é conhecido por não ser regular.$L = \{w \in \{a,b\}^* : \#_a(w) = \#_b(w)\}$$L \cap a^*b^*$$L \cap a^*b^* = \{a^n b^n : n \geq 0\}$

Aqui está um exemplo mais complicado. Vamos mostrar que o idioma não é regular.$L' = \{(0+1)^n2(0+1)^n : n \geq 0\}$

Seja o mapeamento do homomorfismo dado por , , . Se fosse regular, então seria o seguinte idioma: . No entanto, sabemos que o último não é regular.$h$$h(0) = 0$$h(1) = 1$$h(2) = \epsilon$$L'$$h(L' \cap 0^*21^*) = \{ 0^n 1^n : n \geq 0 \}$

Finalmente, aqui está um exemplo usando o homomorfismo inverso. Vamos mostrar que o idioma não é regular.$L'' = \{0^n10^n : n \geq 0\}$

Seja o homomorfismo dado por , , . Se fosse regular, então seria, mas essa é apenas a linguagem do exemplo anterior.$k$$k(0) = 0$$k(1) = 0$$k(2) = 1$$L''$$k^{-1}(L'')$$L'$

Use a teoria de Myhill – Nerode.

Seja uma linguagem. Dizemos que duas palavras são inequivalent modulo (ou: com respeito a ) se existe uma palavra tal que exatamente um dos está em . Em qualquer DFA para , (exercício). Isso implica o seguinte critério:$L$$x,y$$L$$L$$z$$xz,yz$$L$$L$$\delta(q_0,x) \neq \delta(q_0,y)$

Seja uma linguagem. Suponha que exista um conjunto infinito de palavras equivalentes aos pares (ou seja, um conjunto infinito modo que quaisquer dois não iguais sejam módulo equivalente ). Então não é regular.$L$$S$$x,y \in S$$L$$L$

Aqui está um exemplo simples de aplicação deste critério:

O idioma não é regular.$L = \{a^nb^n : n \geq 0\}$

Prova. Seja . Afirmamos que quaisquer duas palavras diferentes em são módulo equivalente . De fato, deixe , onde . Em seguida, , mas .$S = \{ a^n : n \geq 0 \}$$S$$L$$a^i,a^j \in S$$i \ne j$$a^ib^i \in L$$a^ib^j \notin L$

Uma característica importante desse método é a garantia de êxito: se não for regular, existe um conjunto infinito de palavras inequívocas aos pares. Isso é uma consequência do teorema de Myhill – Nerode . Resumidamente, o módulo de equivalência (a negação do módulo de desigualdade definido acima) é uma relação de equivalência e uma linguagem é regular se o número de classes de equivalência do módulo de equivalência for finito. Se não for regular, retirar uma palavra de cada classe de equivalência constituiria um conjunto infinito de palavras diferentes.$L$$L$$L$$L$$L$$L$

Dada uma linguagem , para cada corda existe um conjunto de strings tais que . Cada conjunto desse tipo pode ser usado como um estado em uma máquina de estado.$L$$x$$y$$xy \in L$

Tudo que você precisa fazer é mostrar que o número de tais conjuntos não é finito.

Como exemplo, deixe . Dado para alguns , a única string tal que é . Portanto, para cada , temos um conjunto diferente, o que significa que não é regular.$L = {a^nb^n: n ≥ 0}$$x = a^nb$$n ≥ 1$$y$$xy \in L$$y = b^{n-1}$$n$$L$

Portanto, em geral, se você encontrar um conjunto infinito de strings modo que cada dê um conjunto diferente , o idioma não poderá ser reconhecido por uma máquina de estados finitos e, portanto, não será regular.$x$$x$$\{y: xy \in L\}$