Respostas:
Sim. Abra o mixer de volume no controle de áudio principal na bandeja do sistema.
Ao clicar nele, você obtém o volume principal, mas há uma opção para o mixer. Isso permite controlar cada nível de aplicativo individual (que está atualmente emitindo áudio).
Observe que ele lembrará essas configurações; portanto, se você silenciar o programa A, depois de fechá-lo, A não estará no mixer (sem saída atual), mas da próxima vez que você executar A, ele estará funcionando como mudo.
Para fazer isso na linha de comando, você pode tentar o nircmd: http://www.nirsoft.net/utils/nircmd2.html
nircmd muteappvolume vlc.exe 1
Sim, clique com o botão direito do mouse no ícone de controle de volume na bandeja do sistema e selecione "Abrir misturador de volume" no menu pop-up. Você pode definir configurações individuais de volume (incluindo silenciar) para cada programa aberto.
Lembre-se de que o Windows se lembra dessas configurações; portanto, pode ser educado ativar o som do programa quando terminar.