Você deve ser bom, se estiver se conectando estritamente via RDP. A única coisa que pode te levar é se algo estranho foi configurado para ser executado quando a conexão for estabelecida. Por exemplo, se você estiver usando o cliente Windows RDP interno, poderá definir um programa para ser executado quando a conexão for estabelecida. Se você tiver algo prejudicial para o servidor configurado lá, algo ruim pode acontecer, suponho. Isso é um pouco de longe, eu acho.
Você também pode obter algo interessante se definir a área de transferência para compartilhar com os recursos locais. E com certeza não traga unidades locais para a festa (seguindo a resposta de Stephen Thompson sobre compartilhamento de arquivos).