Oficialmente, você não deve remover esta pasta, conforme o fórum do MSDN mencionado na resposta de Koenyn.
No entanto, parece ser "seguro" (para alguma definição de seguro) liberar algum espaço movendo certas partes dele para outro disco, por exemplo, um disco rígido externo.
Parece que esses instaladores são colocados para uso futuro potencial sob demanda, se você deseja usar determinados recursos do Visual Studio - se você sabe que nunca desejará usar certos recursos do Visual Studio no futuro, poderá mover determinados itens em outros lugares para liberar espaço na sua unidade C :.
Por exemplo, depois de instalar o Visual Studio 2015, mudei o seguinte para uma unidade separada:
- AndroidSDK *
- Win10_Emulator_ *
- VSEmu_Android *
porque sabia que não faria nenhum desenvolvedor para dispositivos móveis para Android ou Windows Phone.
Isso liberou 8 GB dos 16 GB presentes na minha pasta VisualStudioSecondaryInstaller.