Número ideal de participantes para avaliação da abordagem de desenvolvimento / arquitetura de software


7

Para minha tese, criei uma abordagem de desenvolvimento (que consiste em esquemas, um modelo de aplicativo e código de protótipo) que deve facilitar o desenvolvimento e a adaptação de aplicativos para uma plataforma específica.

Eu conduzi entrevistas com desenvolvedores dessa plataforma para avaliar minha abordagem. Até agora, houve cinco entrevistados e o feedback que recebi deles é suficiente para o meu escopo, eu diria.

No entanto, na minha tese, gostaria de justificar minha decisão de que 5 avaliadores são suficientes. Existe alguma pesquisa ou artigo científico que sugira um certo número de avaliadores para uma abordagem tão teórica?

Conheço o trabalho da Nielsen sobre a avaliação da usabilidade heurística, que diz que, com 5 participantes, você descobre cerca de 75% de todos os problemas em usabilidade de software / testes de interface do usuário .

Mas, como eu disse, minha abordagem não é um produto de software específico que precise ser avaliado, mas apenas o modelo em si, e é por isso que estou procurando pesquisas nessa área.


parece estar relacionado à complexidade do software e à "cobertura" dos usuários que escolhem as funções do software (semelhante à "cobertura de teste", exceto usuários, não código, vistos como testadores). você pode fazer com que um único usuário escolha todas as funções e obtenha alta "cobertura" ou muitos usuários que não "cobrem" todas as funções. portanto, convém mudar para um ângulo diferente, concentrando-se em todas as funções do seu código e quais foram realmente "tocadas" (testadas).
vzn

Suas entrevistas são de natureza qualitativa ou quantitativa?
Raphael

Eles eram mais qualitativos.
Saschoar 21/09/2013

Respostas:


5

"Existe alguma pesquisa ou artigo científico que sugira um certo número de avaliadores para uma abordagem tão teórica?"

Existe um método estatístico para calcular o tamanho correto da amostra para um experimento.
Este método é chamado de "análise de potência" [1]. Ele calcula o tamanho mínimo da amostra necessário para verificar se os resultados de um experimento são estatisticamente significativos. Essa abordagem pressupõe que você tenha pelo menos dois grupos. Um grupo de controle e um grupo experimental (ou seja, o grupo de controle usa a plataforma sem suas modificações, o grupo experimental usa a plataforma com suas modificações).

Assim, embora exista um processo científico para calcular o tamanho correto da amostra, essa abordagem provavelmente é um exagero para o seu estudo. Nielsen [2] afirma que a avaliação heurística é apenas um método "barato e rápido" para facilitar a avaliação. Como tal, acredito que você pode justificar um tamanho de amostra de 5 citando Nielsen. No entanto, se você deseja padronizar seu processo de avaliação e usar uma abordagem estatística, encorajo você a analisar a análise de poder.

Você pode estar interessado nesta ferramenta on - line para calcular a potência .


  1. http://en.wikipedia.org/wiki/Statistical_power
  2. http://www.nngroup.com/topic/heuristic-evaluation/
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.