Respostas:
Você deve especificar as coordenadas da janela + largura e altura.
Linha de comando do VLC : seção Entrada de tela
Capture 640x480 pixels no canto superior esquerdo:
"C:\Program Files\VideoLAN\VLC\vlc.exe" --screen-width=640 --screen-height=480
"c:\Program Files\VideoLAN\VLC\vlc.exe" screen:// :screen-top=150 :screen-left=150 :screen-width=300 :screen-height=200