Eu sei que isso é antigo, mas para expandir a resposta de Nikolay e, com sorte, salvar alguém em algum momento no futuro, para obter uma versão atualizada do pocketsphinx funcionando, você precisa compilá-lo no repositório github ou sourceforge (não tenho certeza que é mantido mais atualizado). Observe que -j8 significa executar 8 tarefas separadas em paralelo, se possível; se você tiver mais núcleos de CPU, poderá aumentar o número.
git clone https://github.com/cmusphinx/sphinxbase.git
cd sphinxbase
./autogen.sh
./configure
make -j8
make -j8 check
sudo make install
cd ..
git clone https://github.com/cmusphinx/pocketsphinx.git
cd pocketsphinx
./autogen.sh
./configure
make -j8
make -j8 check
sudo make install
cd ..
Em seguida, em: https://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/US%20English/ faça o
download das versões mais recentes cmusphinx-en-us-....tar.gzeen-70k-....lm.gz
tar -xzf cmusphinx-en-us-....tar.gz
gunzip en-70k-....lm.gz
Finalmente, você pode prosseguir com as etapas da resposta de Nikolay:
ffmpeg -i book.mp3 -ar 16000 -ac 1 book.wav
pocketsphinx_continuous -infile book.wav \
-hmm cmusphinx-en-us-8khz-5.2 -lm en-70k-0.2.lm \
2>pocketsphinx.log >book.txt
Esfinge funciona bem. Eu não confiaria nisso para criar uma versão legível do texto, mas é bom o suficiente para que você possa pesquisá-lo se estiver procurando por uma citação específica. Isso funciona especialmente bem se você usar um algoritmo de pesquisa como o Xapian ( http://www.lesbonscomptes.com/recoll/ ) que aceita caracteres curinga e não requer expressões exatas de pesquisa.
Espero que isto ajude.