Expandindo a resposta de @Scortchi. . .
Suponha que a população tenha 5 membros e você tenha orçamento para provar 5 indivíduos. Você está interessado na média populacional de uma variável X, uma característica dos indivíduos nessa população. Você pode fazer do seu jeito e experimentar aleatoriamente com substituição. A variância da média da amostra será V (X) / 5.
Por outro lado, suponha que você prove os cinco indivíduos sem substituição. Então, a variação da média da amostra é 0. Você amostrou toda a população, cada indivíduo exatamente uma vez, para que não haja distinção entre "média da amostra" e "média da população". Eles são a mesma coisa.
No mundo real, você deve pular de alegria toda vez que precisar fazer a correção finita da população, porque (drumroll ...) faz com que a variação do seu estimador diminua sem que você precise coletar mais dados. Quase nada faz isso. É como mágica: boa mágica.
Dizendo exatamente o mesmo em matemática (preste atenção ao <e assuma que o tamanho da amostra é maior que 1):
finite sample correction=N−nN−1<N−1N−1=1
Correção <1 significa que a aplicação da correção diminui a variação, porque você aplica a correção multiplicando-a pela variação. Variação DOWN == bom.
Movendo-se na direção oposta, totalmente longe da matemática, pense no que está perguntando. Se você deseja aprender sobre a população e pode experimentar 5 pessoas, parece provável que você aprenda mais, aproveitando a chance de provar o mesmo cara 5 vezes ou parece mais provável que você aprenda mais, garantindo que você experimenta 5 caras diferentes?
O caso do mundo real é quase o oposto do que você está dizendo. Quase nunca você experimenta substituição - é apenas quando você está fazendo coisas especiais, como inicialização. Nesse caso, você está realmente tentando estragar o estimador e dar uma variação "muito grande".