No momento, não é um problema se você apenas remover a unidade sem ejetar. Enquanto a unidade não estiver em uso e você a remover, tudo ficará bem. No entanto, se você estiver transferindo arquivos para ou da unidade, não desconecte. Prometa que, se você seguir essas regras, será de ouro.
No entanto, se você é uma daquelas pessoas que está transferindo dados realmente confidenciais que você não pode perder, convém verificar se os está removendo com segurança.
Eu recomendo que você feche todas as tarefas do explorer e verifique se nenhum aplicativo está sendo executado. Esta é uma maneira de saber que nada está sendo transferido.
Eu também encontrei este artigo na Web para você ler, se quiser mais informações.
Artigo sobre remoção segura de USB