Receio que a resposta ainda seja, como sempre foi, "depende do que você está fazendo".
Sim, há retornos decrescentes da adição de mais e mais núcleos, e sempre haverá se você executar apenas um aplicativo por vez .
Mesmo em um aplicativo multiencadeado bem elaborado, muitas das tarefas segmentadas são realizadas para aguardar os componentes mais lentos da máquina - disco rígido, rede - sem afetar o desempenho aparente para o usuário. Estes não podem ser melhorados por uma maior paralelização, pelo que qualquer limite teórico de velocidade é inacessível para fins práticos.
Vale a pena notar que existem poucos aplicativos "grandes" que não são multiencadeados (basta verificar o equivalente ao Gerenciador de Tarefas do seu sistema operacional, ele poderá informar quantos pertencem a cada processo - meu Firefox atualmente usa 31, por exemplo )
Obviamente, a execução de vários aplicativos não interdependentes não é tão restrita por esses limites. À medida que você adiciona mais núcleos, você pode executar mais aplicativos simultaneamente com pouca queda no desempenho do processamento (no entanto, o desempenho do disco rígido, da rede, etc.) não aumenta tão bem. Na prática, mesmo isso também está sujeito a retornos decrescentes, pois há uma sobrecarga inevitável no gerenciamento da distribuição do trabalho entre núcleos, pipelines de comunicação e assim por diante.
Por exemplo, esta publicação de Tom's Hardware (de 2009) tenta analisar o desempenho de alguns processadores com vários núcleos em aplicativos simultâneos - executando um jogo ao lado de uma verificação do AVG (ambos provavelmente com vários threads). Todos os processadores quad, tri e dual core têm desempenho semelhante apenas com o jogo, mas adicionam a verificação simultânea do AVG e o desempenho (medido pelo FPS médio) cai 22%, 40% e 59%, respectivamente.
Portanto, enquanto um quad core não ofereceu aumento de desempenho em relação ao dual core ao executar um aplicativo intensivo, assim que outra tarefa intensiva apareceu, acabou tendo o dobro de desempenho. Infelizmente, não consigo encontrar muito mais que investiga o quão bem isso é dimensionado com mais núcleos e tarefas mais intensivas.
E então você deve observar os recursos modernos de processadores como o Turbo Boost da Intel / Turbo Core da AMD. Esses recursos específicos permitem que um processador de vários núcleos estacione núcleos (coloque-os em um modo mais lento, de baixo consumo de energia) e use a energia disponível para fazer overclock dos núcleos que permanecem ativos - permitindo que o processador se otimize para fornecer o máximo de poder de processamento possível para o número de tarefas apresentadas.