O estudo teórico da teoria dos autômatos e das linguagens formais é meio moribundo (o que significa que você provavelmente ainda pode encontrar problemas interessantes de pesquisa para trabalhar, mas publicá-lo em conferências de alto nível e convencer alguém a contratá-lo depois que você se formar pode ser problemático) . No entanto, acredito que também esteja sendo feito um trabalho interessante sobre a aplicação da teoria formal da linguagem à detecção de ameaças / intrusões na Internet etc., e essa área parece muito mais quente no momento.
Veja por exemplo
Wagner e Dean, detecção de intrusão por análise estática, IEEE Symp. Segurança e Privacidade 2001
Wagner e Soto, ataques de imitação em sistemas de detecção de intrusão baseados em host, ACM Conf. Segurança de computadores e comunicações 2002
Giffin, Jha e Miller, detecção eficiente de intrusões sensíveis ao contexto, NDSS 2004
Feng et al, Formalizando a sensibilidade na análise estática para detecção de intrusões, Simpósio IEEE sobre segurança e privacidade 2004