Eu não acho que isso seja possível usando o calibre. O manuseio de imagens talvez seja possível de alguma forma, mas como as expressões matemáticas geralmente são armazenadas como texto, elas provavelmente serão danificadas por qualquer esforço de conversão.
Em vez disso, sugiro que você dê uma olhada no k2pdfopt . Isso permite gerar um novo PDF otimizado para o tamanho de exibição do seu leitor.
Ele pode lidar com várias colunas, redimensionar e refluir texto, preservar imagens e fórmulas. As tabelas também costumam ser preservadas, mas permanecem pequenas. Apenas tente, talvez funcione para você.
Se você gosta dos resultados e não se importa de fazer o jailbreak do seu Kindle, pode executar o programa diretamente nele. Dou mais alguns detalhes sobre isso nesta resposta no site de e-book do StackExchange.