Na prática, é mais provável que a resposta seja "NÃO" à pergunta, conforme indicado. O P. diz que "(uso) nunca atinge 8 GB" e menciona "mesmo tipo de memória", portanto, o fator mais provável que afeta a velocidade (buffer de disco) não será afetado. Um exemplo prático comum são os servidores de banco de dados com memória suficiente para armazenar em buffer todo o disco rígido - por exemplo, com 4 GB de arquivos e 2 GB de memória alocada por processo / sistema não se beneficia de mais de 8 GB de memória.
Exceções:
Mais memória pode atrasar a hibernação - no meu sistema com 32 GB de memória e disco SSD, uma inicialização a frio é significativamente mais rápida do que despertá-la da hibernação, pois economiza os 32 GB inteiros na hibernação, mas uma inicialização a frio requer muito menos para ser lida. Reduzir a memória aceleraria o sistema.
Seria mais rápido se você acessasse mais o disco rígido e a maioria das pessoas tivesse mais uso de disco do que a memória restante para buffer, portanto, a memória extra ajuda. Muitos sistemas operacionais relatam apenas parte do uso como "uso" e o restante é contado como buffer e não "uso". (O Linux relata o uso, inclusive e exclusivo, do buffer).
Os canais de memória afetam o desempenho: [Se remover a memória significa que você reduz o número de canais de memória em uso, o sistema fica mais lento como Foon apontou corretamente]
[editar:] David Schwartz comentou que diminuir a memória reduz os limites para mapeamentos de memória modificáveis e privados no Windows. Aparentemente, o Windows limita o total dessas reservas ao total de memória mais troca, para que você possa ficar sem esse recurso mesmo que haja "memória livre" relatada (uma vez que a memória / troca real não é alocada até que uma página seja acessada, ela não é contado como uso de memória). O Linux se comporta de maneira diferente - cada processo pode alocar até o total de memória e tamanho de troca, e o total em todos os processos pode exceder o total de memória mais troca.