Se for um projeto pessoal, digo armazenar as configurações no controle de origem. Pessoalmente, nada mata mais a minha motivação para um projeto do que a criação de um ambiente de desenvolvimento novamente.
Quando há mais pessoas envolvidas, não coloco essas coisas no controle da fonte. Na minha equipe, temos uma mistura de IntelliJ, Sublime Text e Eclipse em uso. Os arquivos IDE apenas aumentam a confusão e resultam em puxar confirmações para esses arquivos de outras pessoas para um IDE que você não usa.
Além disso, seu projeto não deve depender do IDE de qualquer maneira. Um servidor de construção não inicializará o Eclipse para compilar seu produto, portanto, ele já deve estar livre de IDE. Um ponto mais secundário: elimina a organização pessoal dentro do projeto. Por exemplo, no IntelliJ, gosto de usar muitos módulos em nosso projeto. Ninguém mais usando o IntelliJ se preocupa com isso, porque não armazenamos os arquivos .iml (módulo).
Se sua equipe estiver usando o mesmo IDE, será melhor, mas alguém confirmará uma entrada .classpath incorreta porque eles usaram um caminho absoluto. Agora, todos que usam o IDE se preocupam com isso.
Claro, a desvantagem é que há mais configurações quando alguém faz check-out do projeto. Eu acho que vale a pena. Usamos o Ivy para gerenciamento de dependências e temos informações sobre configuração, dependências, etc. Apesar desse custo inicial, acho que vale a pena manter as configurações do IDE fora do controle de origem.