Existe uma extensão de expressões regulares que captura as linguagens livres de contexto?

Em muitos trabalhos que envolvem gramáticas livres de contexto (CFGs), os exemplos de tais gramáticas apresentadas frequentemente admitem caracterizações fáceis da linguagem que geram. Por exemplo:

$S \to a a S b$
$S \to$

gera ,$\{ a^{2i} b^i | i \geq 0\}$

$S \to a S b$
$S \to a a S b$
$S \to$

gera e$\{ a^i b^j \mid i \geq j \geq 0 \}$

$S \to a S a$
$S \to b S b$
$S \to$

gera ou equivalentemente (onde se refere à parte capturada por ).{ ( ( uma | b ) * ) 1 ( ( uma | b ) * ) 2 | p 1 = p R 2 } p 1 ( . . . ) $\{ w w^R \mid w \in (a|b)^* \}$$\{ ((a|b)^*)_1 ((a|b)^*)_2 \mid p_1 = p_2^R \}$$p_1$$(...)_1$

Os exemplos acima podem ser gerados adicionando índices ( ), restrições simples sobre esses índices ( ) e correspondência de padrões com expressões regulares. Isso me faz pensar se todas as linguagens sem contexto podem ser geradas por alguma extensão das expressões regulares. i > $a^i$$i > j$

Existe uma extensão de expressões regulares que podem gerar todo ou algum subconjunto significativo das linguagens livres de contexto?

Sim existe. Defina uma expressão sem contexto para ser um termo gerado pela seguinte gramática:

$$\begin{array}{lcll} g & ::= & \epsilon & \mbox{Empty string}\\ & | & c & \mbox{Character $c$ in alphabet $\Sigma$} \\ & | & g \cdot g & \mbox{Concatenation} \\ & | & \bot & \mbox{Failing pattern} \\ & | & g \vee g & \mbox{Disjunction}\\ & | & \mu \alpha.\; g & \mbox{Recursive grammar expression} \\ & | & \alpha & \mbox{Variable expression} \end{array}$$

Esses são todos os construtores de linguagens regulares, exceto Kleene star, que é substituída por um operador de ponto fixo geral e um mecanismo de referência variável. (A estrela Kleene não é necessária, pois pode ser definida como .)g ∗ ≜ μ α $\mu \alpha.\;g$$g\ast \triangleq \mu \alpha.\;\epsilon \vee g\cdot\alpha$

A interpretação de uma expressão livre de contexto requer a contabilização da interpretação de variáveis ​​livres. Portanto, defina um ambiente para ser um mapa de variáveis ​​para idiomas (ou seja, subconjuntos de ) e deixe ser a função que se comporta como em todas as entradas, exceto e que retorna o idioma para .Σ ∗ [ ρ | α : L ] ρ α L $\rho$$\Sigma^*$$[\rho|\alpha:L]$$\rho$$\alpha$$L$$\alpha$

Agora, defina a interpretação de uma expressão livre de contexto da seguinte maneira:

$$\newcommand{\interp}[2]{[\![{#1}]\!]\;{#2}} \newcommand{\setof}[1]{\left\{#1\right\}} \newcommand{\comprehend}[2]{\setof{{#1}\;\mid|\;{#2}}} \begin{array}{lcl} \interp{\epsilon}{\rho} & = & \setof{\epsilon} \\ \interp{c}{\rho} & = & \setof{c} \\ \interp{g_1\cdot g_2}{\rho} & = & \comprehend{w_1 \cdot w_2}{w_1 \in \interp{g_1}{\rho} \land w_2 \in \interp{g_2}{\rho}} \\ \interp{\bot}{\rho} & = & \emptyset \\ \interp{g_1 \vee g_2}{\rho} & = & \interp{g_1}{\rho} \cup \interp{g_2}{\rho} \\ \interp{\alpha}{\rho} & = & \rho(\alpha) \\ \interp{\mu \alpha.\; g}{\rho} & = & \bigcup_{n \in \mathbb{N}} L_n \\ \mbox{where} & & \\ L_0 & = & \emptyset \\ L_{n+1} & = & L_n \cup \interp{g}{[\rho|\alpha:L_n]} \end{array}$$

Usando o teorema de Knaster-Tarski, é fácil ver que a interpretação de é a menos fixa da expressão.$\mu \alpha.g$

É simples (embora não totalmente trivial) mostrar que você pode dar uma expressão livre de contexto derivando o mesmo idioma que qualquer gramática livre de contexto e vice-versa. A não trivialidade surge do fato de que expressões sem contexto têm pontos fixos aninhados, e gramáticas sem contexto fornecem um único ponto fixo sobre uma tupla. Isso requer o uso do lema de Bekic, que diz precisamente que um ponto fixo aninhado pode ser convertido em um único ponto fixo sobre um produto (e vice-versa). Mas essa é a única sutileza.

Edição: Não, eu não sei uma referência padrão para isso: eu trabalhei para o meu próprio interesse. No entanto, é uma construção bastante óbvia que estou confiante de que foi inventada antes. Algum Googling casual revela Joost Winter, Marcello Bonsangue e o artigo recente de Jan Rutten, Linguagens sem Contexto, Coalgebraically , onde eles fornecem uma variante dessa definição (exigindo que todos os pontos fixos sejam protegidos) que eles também chamam de expressões sem contexto.

Havia uma pergunta intimamente relacionada (e várias respostas) no MathOverflow sobre os idiomas cujas funções geradoras são holonômicas .

Curiosamente, a definição de Neel da semântica de acima corresponde exatamente à prova (construtiva) da existência de soluções de espécies para equações de espécies recursivas por meio do teorema implícito de espécies. Infelizmente, seu esboço de prova também deve conter um erro sutil, pois há casos em que as coisas ficam "infinitas". Em outras palavras, existe uma condição no jacobiano da transformação definida pela gramática como não singular, necessária. É provavelmente por isso que Bonsangue-Rutten exige que os pontos fixos sejam guardados, como uma maneira de garantir essa condição no jacobiano.$\mu$

Publicamos recentemente os contornos de uma estrutura que fará exatamente isso. Procure em comp.compilers , onde enviei uma notificação junto com alguns links.

Os novos desenvolvimentos funcionam com o Teorema de Chomsky-Schuetzenberger e podem ser considerados como uma conclusão desse resultado. O próprio Chomsky foi informado dos desenvolvimentos e indica um desejo de "recuperar o atraso".

Junto com esse desenvolvimento, também estabelecemos a equivalência de duas formulações separadas para expressões livres de contexto - uma que é uma extensão / conclusão da forma mu-calculus de "ponto menos fixo" (originalmente por Gruska, Yntema e McWhirter) - que recebeu uma espécie de formulação final em 2014 - e a outra publicada em 2008.