Perguntas com a marcação «lexer»

Os lexers e analisadores são realmente tão diferentes em teoria? Parece moda odiar expressões regulares: horror de código , outro post do blog . No entanto, ferramentas populares baseadas em lexing: pigmentos , geshi ou prettify , usam expressões regulares. Eles parecem lex qualquer coisa ... Quando o lexing é …

308 parsing  antlr  lexer  pygments 

Estou procurando uma definição clara do que são um "tokenizer", "analisador" e "lexer" e como eles estão relacionados entre si (por exemplo, um analisador usa um tokenizador ou vice-versa)? Eu preciso criar um programa passará por arquivos de origem c / h para extrair declarações e definições de dados. Eu …

151 parsing  lexer  tokenize