Escrevendo da perspectiva de alguém que ocasionalmente trabalha em aplicativos Android no meu tempo livre, o que eu acho que é semelhante à sua situação (ou quando você originalmente escreveu a pergunta):
O mínimo que eu usaria é dois telefones: um telefone novo e um telefone antigo.
Analisaria o aplicativo cuidadosamente, prestando atenção ao nível mínimo de API exigido pelo código. Por exemplo, você pode estar usando uma funcionalidade que requer o nível 14 da API e, portanto, seu aplicativo não será executado em dispositivos executando versões muito antigas do Android. Seu telefone antigo deve estar executando a versão Android correspondente exatamente ao nível da API . Manter o dispositivo em uma versão antiga é importante; Eu peguei problemas em que algo que deveria ser suportado em um nível da API não era suportado até o próximo nível mais alto da API. Por exemplo, eu tenho um Droid Pro antigo executando o Gingerbread, para aplicativos que precisam ser executados em dispositivos muito antigos e telas muito pequenas, e precisam apenas da API de nível 10 ou inferior.
Seu novo telefone não precisa necessariamente ser novo para o showroom, mas precisa estar executando a versão mais recente do Android, seja lá o que for naquele momento. Isso significa que você deseja um telefone do Google com uma safra recente. Atualmente, uso um Nexus 6 e, agora que os telefones Pixel estão esgotados, atualizarei para um deles em breve. Pontos de bônus se você inscrever seu telefone no Android Beta Program para obter versões anteriores do Android no seu dispositivo para testar seu aplicativo. Este programa requer um telefone do Google.
Para crédito extra, também adquira um tablet antigo com sua versão do Android escolhida como acima. Eu tenho um antigo Motorola Xoom que foi originalmente enviado com o Honeycomb, se eu precisar testar isso há muito tempo. (Ainda não aconteceu, mas você nunca sabe.) E, é claro, um tablet com uma versão recente do Android, de preferência um dispositivo do Google registrado no Android Beta Program. Embora eu pessoalmente não esteja usando um desses ainda.
Esteja preparado para comprar um dispositivo popular, se você começar a receber vários relatórios de erros dos usuários desse dispositivo. Especialmente se você estiver desenvolvendo aplicativos pagos, convém planejar e fazer um orçamento para isso. Mas não recomendo comprar um telefone popular com antecedência ; um dispositivo do Google e testes cuidadosos de emulador fornecerão uma cobertura adequada e, se ocorrerem erros específicos do dispositivo, eles provavelmente estarão em um dispositivo diferente daquele que você escolheria. Então, acho que comprar antes que você precise é dinheiro desperdiçado. Às vezes, você também pode consertar esses erros sem comprar o dispositivo.
E não se esqueça dos adaptadores de tamanho de cartão SIM, para colocar seu cartão nano SIM em dispositivos mais antigos que usavam cartões SIM maiores.
Com o tempo, se você for como eu, naturalmente coletará dispositivos Android da mesma forma que outras pessoas colecionam selos, moedas e Pokémon. Mas lembre-se de que você nunca poderá testar em todos os dispositivos possíveis. Basta fazer o melhor que puder com o que você tem.