Perguntas com a marcação «lexer»

Recentemente, mergulhei profundamente no mundo dos analisadores, querendo criar minha própria linguagem de programação. No entanto, descobri que existem duas abordagens um tanto diferentes dos analisadores de gravação: Geradores de Analisadores e Combinadores de Analisadores. Curiosamente, não consegui encontrar nenhum recurso que explicasse em que casos qual abordagem é melhor; …

59 parsing  lexer  parser-combinator 

Estou lentamente trabalhando para terminar minha graduação, e este semestre é o Compilers 101. Estamos usando o Dragon Book . Logo no início do curso, estamos falando sobre análise lexical e como ela pode ser implementada por meio de autômatos finitos determinísticos (doravante, DFA). Configure seus vários estados de lexer, …

24 compiler  lexer  pragmatism 

Como dito no título, que tipo de dados um lexer deve retornar / fornecer ao analisador? Ao ler o artigo de análise lexical que a Wikipedia possui, afirmou que: Na ciência da computação, a análise lexical é o processo de conversão de uma sequência de caracteres (como em um programa …

21 data-types  lexer  flex 

Quando comecei a usar combinadores de analisadores, minha primeira reação foi uma sensação de libertação do que parecia uma distinção artificial entre análise e lexing. De repente, tudo estava apenas analisando! No entanto, recentemente deparei com esta postagem no codereview.stackexchange ilustrando alguém que restabelece essa distinção. A princípio, achei que …

18 parsing  lexer  parser-combinator 

Quais são os bons recursos para escrever um lexer em C ++ (livros, tutoriais, documentos), quais são algumas boas técnicas e práticas? Eu olhei na internet e todo mundo diz para usar um gerador lexer como lex. Não quero fazer isso, quero escrever um lexer à mão.

18 c++  compiler  lexer 

Estou escrevendo um analisador para uma linguagem de marcação que eu criei (escrevendo em python, mas isso não é realmente relevante para essa pergunta - na verdade, se isso parece uma má idéia, eu adoraria uma sugestão para um caminho melhor) . Estou lendo sobre analisadores aqui: http://www.ferg.org/parsing/index.html e estou …

14 python  parsing  lexer 

Ao ler uma resposta à pergunta de esclarecimento sobre gramáticas, Lexers e Parsers , a resposta afirmou que: [...] uma gramática BNF contém todas as regras necessárias para análise e análise lexical. Isso me pareceu um pouco estranho, porque até agora, eu sempre pensei que um lexer não era baseado …

12 design  design-patterns  development-process  grammar  lexer 

Eu estive observando alguns lexers em vários idiomas de nível superior ( Python , PHP , Javascript entre outros) e todos parecem usar expressões regulares de uma forma ou de outra. Embora eu tenha certeza de que as regexs são provavelmente a melhor maneira de fazer isso, eu queria saber …

9 theory  regular-expressions  lexer 

Informações de plano de fundo ( maio de Skip ): Estou trabalhando em uma tarefa que definimos na uni na qual precisamos criar uma gramática para uma DSL que nos foi fornecida. A gramática deve estar em BNF ou EBNF. Além de outras coisas, estamos sendo avaliados sobre as regras …

8 language-design  parsing  grammar  lexer