Para preservar o máximo de detalhes e a capacidade de edição futura, é melhor salvar suas imagens no formato RAW, se sua câmera suportar isso. Dito isto, geralmente é muito mais exigente em termos de memória por requisitos de imagem, portanto, pode limitar seu número máximo de imagens.
Para JPEGs, geralmente existem dois fatores que determinam a qualidade da imagem (QI). O primeiro é a resolução. Obviamente, quanto maior a resolução, mais detalhes podem ser capturados na sua imagem. Dito isto, você mencionou impressões não cortadas de 8x10 no máximo. Uma impressora de laboratório padrão imprime em torno de 300 dpi. Isso se traduz em 2400x3000 pixels ou ~ 8 Mpix. Se esse for o formato máximo de saída, você poderá reduzir a resolução de captura para esse número (*).
O segundo fator é a qualidade, ou compressão, que é determinada pela parte com perdas do compressor JPEG. O compressor, geralmente, está jogando fora as informações das frequências mais altas na imagem. Considerando isso, você pode julgar por sua cena - se for uma cena composta de detalhes minúsculos / finos (por exemplo, uma árvore / grama, pêlos da cabeça etc.), você poderá manter a qualidade em superfino.
Caso contrário (fotografar seu carro, por exemplo, ou outros objetos relativamente suaves), você poderá diminuir a qualidade para economizar espaço.
(*) Observe que, ao realizar um trabalho de pós-processamento que inclui rotação ou outras ações destrutivas de pixel, ter mais pixels para trabalhar resultará em uma melhor saída final.
Atualização em resposta ao commet do OP:
Bem, existem alguns fatores aqui. Ao lidar com esse assunto, assumo a consideração de tecnologias de idade semelhante. Um novo sensor provavelmente superará um sensor antigo com uma resolução mais alta. À medida que os sensores diminuem, sua sensibilidade ao ruído aumenta até o ponto em que os detalhes da imagem são perdidos no mar de ruído no nível de pixel *. Assim, a partir de algum ponto, aumentar a resolução fica sem sentido. Porém, sensores mais novos têm melhor imunidade a ruídos no nível de pixels .
Diferentes marcas e modelos usam algumas variações na tecnologia de sensores. Os tipos que eu conheço são CMOS padrão, CCD e CMOS com iluminação traseira. Atualmente, o CCD e o CMOS são comparáveis em desempenho de ruído. O BSI é considerado uma tecnologia mais nova que aumenta a quantidade de luz coletada pelo sensor, daí sua imunidade ao ruído. Em resumo, pode haver uma diferença na resolução real entre os modelos, mas para a mesma tecnologia, ela aumentará a resolução capturada (consulte o próximo parágrafo).
Lembre-se de que um sensor não é apenas a peça de silicone, mas também uma pilha de filtros e microlentes. Um dos filtros é um filtro passa-baixo (anti-aliasing) que corta as altas frequências da imagem antes de atingir os sensores. Isso por si só sugere que a própria imagem óptica / analógica é mais detalhada em um sensor de maior resolução.
Outro ponto que afeta a resolução real é o poder de resolução da lente. Atualmente, a maioria dos modelos possui sensores que superam o poder de resolução da maioria das lentes (absolutamente definitivamente quando se fala em smartphones ou compactos MP altos). Isso significa que o benefício em aumentar a resolução é marginal , mas existe. @Matt Grum explicou em seus posts (tentarei encontrá-lo mais tarde) que a imagem capturada é a convolução da imagem da lente (sinal) e a função de amostragem do sensor. Como tal, sempre haverá algumas melhorias com o aumento da resolução, mas é questionável se você pode tirar vantagem disso.
Quanto ao assunto a ser capturado - obviamente (realmente, desta vez), se o assunto não tiver detalhes, não vejo como o aumento da resolução melhorará a imagem final (a interpolação digital também funcionará). Eu toquei neste ponto na primeira parte da resposta.
Em resumo: a tecnologia, aplicada a diferentes modelos, mesmo entre as linhas de um único fabricante, pode afetar o poder de resolução do sensor. Ao comparar a mesma tecnologia, pode-se mostrar que o aumento da resolução aumenta a quantidade de detalhes até o nível de ruído do sensor. O quão detalhado é o seu assunto afetará definitivamente o quão detalhado é a sua imagem.
A resolução por si só não é o único jogador no jogo e, ao escolher uma câmera, é necessário considerar todos os outros parâmetros (lente, filtros, processador, etc.). Sua intenção de pergunta parece ser a escolha das configurações no contexto de uma determinada câmera, que é a minha resposta original.
Atualização II: Aqui está a resposta de Matt: Os megapixels são importantes com a moderna tecnologia de sensores?