Capturar como vetor? Não, claro que não. Não há como o programa de captura saber alguma coisa sobre a geometria das formas na tela sem ter algum tipo de gancho nos programas que estão fazendo o desenho.
No entanto, o que você pode fazer é capturar uma imagem raster e convertê-la em vetor . Existem ferramentas como o Inkscape que podem executar essa conversão (embora você geralmente precise fazer alguns ajustes manualmente, e mesmo assim, raramente será possível obter resultados perfeitos em pixels).
Quanto à resolução, quando você realiza uma captura, ela não pode capturar mais informações do que as disponíveis. Você pode redimensionar a imagem resultante e, se usar um bom algoritmo de dimensionamento, os pixels interpolados se misturam bastante bem, mas não há como inventar mais informações em pixels do que as atuais.
Teoricamente, seria possível implementar algum tipo de sistema no qual tudo é renderizado internamente em uma resolução mais alta e depois enviado para a tela em uma menor, mas isso exigiria suporte especial no sistema operacional e na unidade e é improvável de ser implementado, pois tem uso muito limitado e seria apenas um desperdício de memória na maioria dos cenários.
Você pode usar o panorama da área de trabalho para obter uma área de trabalho de resolução mais alta do que a tela suporta, mas, novamente, isso requer que os drivers sejam compatíveis.