Estamos contratando uma pessoa de controle de qualidade e devo apresentar algumas perguntas da entrevista. A verdade é que não sei muito sobre o que um bom engenheiro de controle de qualidade deve saber, muito menos sobre o que as boas perguntas da entrevista podem envolver. Alguém tem sugestões?
Algumas informações: O ambiente é dois aplicativos Web separados (mas entrelaçados) para a pilha da Microsoft (ASP.NET, SQL Server, IIS).
Respostas:
A menos que você tenha muita experiência trabalhando com testadores, leia os primeiros capítulos do "Testing Computer Software" da Cem Kaner para ter uma idéia dos tipos de termos que deseja ouvir: teste de limite, teste de erro, teste do caminho feliz, funcional, desempenho, segurança, integração etc. Se você não conseguir falar o idioma, não poderá realizar uma boa entrevista.
Especifique-os para um pequeno pedaço do seu sistema. Peça a eles para testá-lo. Você está procurando uma organização do pensamento e sua capacidade de apresentar testes interessantes. Você deseja vê-los dividir as áreas de teste de maneira ordenada e, em seguida, detalhar cada área, criando casos de teste cada vez mais interessantes. Testadores realmente bons podem fazer isso por horas com todos os problemas, exceto os mais triviais; portanto, você pode precisar cortá-los e passar para outra categoria para ter uma boa ideia de como eles pensam.
Descreva o comportamento causado por um bug real no seu sistema que foi meio difícil de entender. Pergunte a eles o que fariam se vissem esse bug durante o teste. Aqui, você está procurando redução de bug - a capacidade de encontrar o conjunto mais simples de circunstâncias que podem reproduzir um bug. Isso torna a depuração muito mais fácil para os desenvolvedores, uma vez que eles têm uma idéia melhor sobre o que causou o problema e demonstram uma capacidade clara de solucionar problemas e uma compreensão clara de quais fatores podem interagir para causar bugs. Com seu produto específico, discutir uma condição de corrida pode ser divertido.
Dê a eles um programa simples de linha de comando que você tenha hackeado (talvez semeado de bugs) e uma especificação simples, e deixe-os sentar no computador e brincar com ele, com o objetivo de encontrar problemas. Aqui você procura criatividade e capacidade de direcionar áreas problemáticas. Eles devem testar coisas como entradas grandes, entradas pequenas, entradas estranhas, entradas vazias. Se eles encontrarem um bug, peça que eles tentem descobrir exatamente quando esse bug acontece (novamente com a redução do bug!).
Pergunte o que eles fariam se um SDE responder a um bug com "No Repro" ou "Won't Fix", se eles achassem que o bug era importante. Aqui você está procurando alguém que não seja apenas uma tarefa fácil, mas também não seja antagônica. Respostas razoáveis incluem a adição de cenários de exemplo que demonstram mais claramente a gravidade do bug e a reabertura do ticket, conversando com o desenvolvedor para tentar entender por que as coisas foram resolvidas dessa maneira antes do fechamento, etc.
Converse com eles sobre seu aplicativo em um nível alto. Pergunte a eles que tipos de teste eles gostariam de realizar. Aqui você está procurando áreas gerais de teste, como teste de componente funcional, teste de integração, teste de desempenho e teste de segurança.
Se este é um engenheiro de SDET / automação, faça algumas perguntas para os desenvolvedores com aproximadamente 1/3 a metade do total de anos de experiência.
Se esta é sua primeira pessoa de controle de qualidade, verifique se eles podem iniciar automaticamente. Pergunte a eles como eles imaginam sua primeira semana ou mês de trabalho. Eles devem dizer algo sobre reunir requisitos e configurar ferramentas e descrever uma abordagem razoável para começar a testar. Você está procurando alguém que não precise de um chefe para dizer como iniciar os testes e que pode se autogerenciar. Se você já possui uma equipe de controle de qualidade, isso é menos importante.
O que faço quando entrevistei candidatos a controle de qualidade é pedir que eles esboçam uma estratégia de teste para um aplicativo. Normalmente, dou a eles meu telefone e escolho um aplicativo com recursos limitados - ou deixo que eles escolham algo com o qual estão mais familiarizados. Quando eles listam uma estratégia de alto nível (alguns não podem), posso pedir que eles detalhem e listem alguns casos de teste.
Uma vez feito, posso dar a eles um cenário em que temos recursos limitados e ver como eles priorizam.
Também pergunto a eles quando o software é bom o suficiente para enviar, como lidar com situações em que o PM ou o desenvolvedor não sente que um bug é importante, mas sim. Cenários típicos de desenvolvimento de produtos.
Estes são para posições de controle de qualidade sem codificação. Codificando posições de controle de qualidade Dou-lhes uma entrevista combinada de desenvolvimento e teste.
Pergunte a eles como eles projetariam planos de teste. Pergunte-lhes se eles têm experiência no uso de testes de regressão e como eles fizeram isso. Pergunte a eles como eles testam uma interface do usuário. Pergunte a eles como eles testariam as importações de dados que não passam pela interface do usuário (se você fizer isso). Pergunte a eles como eles comunicariam seus problemas aos desenvolvedores e como eles verificariam a resolução do problema. Eu perguntava a eles sobre o bug mais interessante (ou mais difícil de encontrar) que eles encontraram e como o encontraram.
Antes de começar a entrevista, procure alguns dos livros disponíveis sobre testes e avalie um pouco o que uma pessoa de controle de qualidade deve estar fazendo. Isso irá ajudá-lo a avaliar suas respostas.
Além disso, você também está procurando um bom ajuste de personalidade. Você não quer uma pessoa de controle de qualidade que seja uma tarefa fácil, mas também não quer um valentão ou um idiota. Mas você quer alguém que defenda a gerência quando as coisas estão erradas e não apenas aprove tudo, porque a gerência quer cumprir um prazo. Você deseja alguém que trabalhe efetivamente com os desenvolvedores e que entenda os requisitos do que eles estão testando. Alguém com alguma experiência no tipo de aplicativo que você está testando pode ser bom. Um testador com experiência em assistência médica saberá o que testar para alguém que não seja de outro campo.
Eu acho que você não pode esperar que eles tenham algum conhecimento sério de tecnologia - quem tiver provavelmente irá recusar-se a trabalhar como testador mundano.
O melhor que você pode fazer é procurar coisas comuns, como atenção aos detalhes, mente curiosa, entusiasmo pela experimentação e assim por diante.