Existe alguma pesquisa formal no FizzBuzz Question Effectiveness? [fechadas]

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas.

Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Software Engineering Stack Exchange.

Fechado há 4 anos .

Depois de ver esta pergunta hoje sobre a variação da pergunta da entrevista no FizzBuzz, além de ver outras questões relacionadas a ela, tenho que perguntar: existe alguma pesquisa formal sobre quão eficaz isso é como uma técnica de entrevista? Muitas pessoas dizem que isso filtra uma porcentagem de candidatos de aparência louca (mais de 95% em alguns casos), mas qual é a qualidade de encontrar bons programadores / desenvolvedores?

Houve alguma pesquisa que mostra que as habilidades sociais podem ser melhores indicadores do que as habilidades físicas para escolher um bom candidato para um cargo. Além disso, pode haver algumas razões intermediárias para tantos candidatos reprovados neste teste (nervosismo, pensando "é um truque", etc.).

Com base nos comentários até agora, parece que a idéia por trás das perguntas do FizzBuzz é determinar se a pessoa tem ou não boas habilidades de codificação para ser considerada. Não estou totalmente convencido de que o FizzBuzz realmente faça isso. Além disso, lembre-se de que o FizzBuzz filtra uma porcentagem muito grande de candidatos logo no início do processo de contratação, o que pode significar que um número significativo de bons candidatos está sendo removido desde o início, porque eles não conseguem resolver problemas tolos com rapidez suficiente.

Além disso, vou apontar que analisar a eficácia do FizzBuzz é algo que pode ser feito completamente de maneira quantitativa. É diferente de olhar para "adequação" ou "paixão", que são altamente variáveis e altamente não científicas (mas ainda bastante importantes para novas decisões de contratação).

interview language-agnostic hiring

— joshin4colours
fonte

Não é uma pesquisa formal: codinghorror.com/blog/2007/02/… AND codinghorror.com/blog/2007/02/why-cant-programmers-program.html

— wleao

Eu não gostaria de contratar um candidato que não possa codificar o FizzBuzz enquanto estiver nervoso.

— Eric Wilson

Não é isso que o artigo que você vincula também indica. Indica que os contratados têm uma alta taxa de desistência. Mas não há absolutamente nenhum dado sobre os que foram rejeitados. Para mim, isso indica que as empresas provavelmente estão fazendo um bom trabalho eliminando as pessoas não técnicas (como esse foi o foco de suas entrevistas) que não puderam fazer o trabalho, mas precisam fazer filtros adicionais para as pessoas que se recusam a aprender ou se recusar a se comportar bem como memebers da equipe

— Martin Iorque

@JMG: Você precisa ser mais preciso (o inverso do que exatamente). Se eles não podem fazer a parte técnica do trabalho (Hard Skills), por que você acha que eles têm alguma chance. Se você contratar pessoas que, por definição, não podem fazer o trabalho para o qual foram contratadas, não acha que a taxa de desistência seria de 100%. Em nossos processos de entrevistas, temos seções específicas para verificar se o candidato será adequado para a equipe e a empresa. Mas não importa o quanto gostemos deles pessoalmente, não faz sentido contratar uma pessoa sem as habilidades de codificação.

— Martin York

Então, como resposta para if their hard skills was weighted more evenly with their soft skills. Não . A habilidade difícil será um filtro. As habilidades sociais são um filtro adicional. Não é um caso em que você pode ter, A or Bvocê deve ter A and B. Foi assim que li o artigo que você vinculou. Eles já filtrada para um que acabou de fazer um mau trabalho na filtragem para B.

— Martin Iorque

Respostas:

Faz muito tempo que não lia pesquisas sobre entrevistas de emprego (por isso não posso especificar detalhes do site, pelas quais peço desculpas), mas a regra geral é que as pessoas contratam com base em soft skills, mas não há correlação entre isso e desempenho. Testar habilidades específicas pode funcionar, pois a personalidade não funciona (de acordo com dados mensuráveis).

Quase todo mundo acredita que suas técnicas especiais de entrevista funcionam, os dados dizem que você provavelmente não deveria se dar ao trabalho de entrevistar (a parte "conte-me sobre você" da entrevista, em oposição aos testes objetivos), já que os candidatos selecionados pelos entrevistadores não são melhores, mas os entrevistadores mostram preconceitos em relação a extrovertidos, pessoas demograficamente semelhantes ao entrevistador, pessoas altas, pessoas atraentes etc. (indiscutivelmente, você deve contratar pessoas que se saem bem nos testes e são ruins no resto da entrevista, já que elas aparentemente são tão boas quanto no trabalho, mas pode ser mais difícil deixar sua empresa).

Eu meio que espero ser inflamado por isso, geralmente qualquer pessoa que eu digo isso diz "mas usamos o método X e realmente funciona para nós", mas, a menos que você

contrate algumas pessoas que não passam no seu processo de entrevista,
não conte aos colegas de trabalho quem passou e quem não passou, e
comparar o desempenho daqueles que passaram com os que não passaram, usando critérios objetivos previamente acordados

você realmente tem muito pouca ideia se o seu processo funciona. Infelizmente, a eficácia da entrevista é inerentemente difícil de avaliar.

Se você está se perguntando, os experimentos fazem coisas como pedir às pessoas para avaliar os candidatos com base nas transcrições das entrevistas, de candidatos que realmente já foram contratados (entre muitas outras técnicas). O ideal é que os experimentadores façam com que as pessoas façam entrevistas, escolham candidatos, apaguem a memória do entrevistador, selecionem aleatoriamente quem contratar entre os candidatos e comparem o desempenho dos candidatos usando critérios objetivos e precisos versus as classificações dadas pelos entrevistadores, mas esse experimento é difícil de retirar.

Portanto, embora eu não tenha visto pesquisas específicas do FizzBuzz, é o tipo de coisa que pode mostrar eficácia nos testes científicos. Se separar 95% dos candidatos, eu ficaria curioso para saber por que - foi inventado para ser tão absurdamente fácil que apenas um programador incompetente não conseguiu aprová-lo, e é difícil ver como emburrecer o FizzBuzz. Gostaria de saber qual porcentagem passou no teste "Olá, mundo"? O teste "faça o computador fazer alguma coisa, qualquer coisa"?

— psr
fonte

+1 É por isso que faço a pergunta: a contratação é inerentemente muito pouco científica, mas a eficácia do FizzBuzz pode pelo menos ser testada quantitativamente.

— Joshin4colours

@psr: Na minha experiência em entrevistar novos graduados nos EUA, BSCS ou MSCS, cerca de 90% deles não podem programar. Por quê? Porque as instituições têm um incentivo financeiro para mantê-las no programa pagando mensalidades.

— Kevin Cline

@ Kevin Cline: Meio que saiu do tópico, mas no meu MSCS não acho que eles estavam tão focados no resultado final. Eles estavam, no entanto, extremamente preocupados em se distinguir como um programa acadêmico versus uma escola de comércio, e muitos professores menosprezavam um pouco a mera programação em vez de, por exemplo, provar coisas realmente pequenas sobre as máquinas de Turing.

— psr

Acho que você está ignorando o fato de que o objetivo das pessoas que contratam não é tanto encontrar a melhor correspondência possível, como apenas tentar evitar um desastre. Mesmo nos bons tempos econômicos, as pessoas que oferecem empregos são inundadas de candidatos, muitos deles irremediavelmente desqualificados. Você simplesmente deve ter algum tipo de filtro rápido para reduzir o número de candidatos a um número gerenciável. O ponto original do teste do fizbuzz era fazê-lo como parte da tela do telefone. Se o grupo de pessoas que aprovam o Fizzbuzz é um pouco enriquecido para pessoas que realmente podem codificar, é uma ajuda.

— Charles E. Grant

@ Charles E. Grant - eu entendo o FizzBuzz - na verdade, uso perguntas como essa ao entrevistar (quase todo mundo passa). I foi principalmente respondendo aos "soft skills podem ser indicadores do que hard skills" (sic), que eu tenha lido a investigação relevante para, e na pesquisa soft skills ajudou em uma entrevista, mas não pôde ser mostrado para ajudar no trabalho. Ou, mais precisamente, os entrevistadores não poderiam identificar candidatos que seriam eficazes no trabalho, se tentassem identificá-los com base em habilidades pessoais.

— psr

O objetivo do fizzbuzz não é encontrar bons programadores, é encontrar uma certa classe de programadores ruins, que são pessoas que não conseguem implementar um algoritmo simples. Sua pergunta é como perguntar quantos campeões da Nascar são identificados durante os exames da carteira de motorista. Há muito meio termo entre alguém que você definitivamente não quer contratar e alguém que você definitivamente quer.

Existem outras classes de programadores "ruins" que exigem métodos diferentes de identificação, como aqueles que não são proficientes em um determinado idioma ou têm problemas de comportamento. No entanto, programadores "fizzbuzz-bad" são quase universalmente indesejados, e é por isso que o teste é tão frequentemente recomendado. Se um programador que é excessivamente territorial ou que precisa transferir habilidades para um novo idioma é "bom" ou "ruim" depende muito mais das necessidades e preferências individuais do empregador.

— Karl Bielefeldt
fonte

Mas o que faz um programador "ruim"? Você gostaria de alguém que seja um codificador incrível, mas remova as edições registradas do código "dele" em um projeto? Ou alguém que possa precisar de uma pequena ajuda, indo de C para Java, mas se dedicar totalmente ao projeto?

— Joshin4colours

@JMG: Existe uma escola de pensamento que nos informa "Você também não quer". Se eles têm alguns hábitos não cooperativos como o último, então "No Hire"; se eles não têm habilidades comuns, mas necessárias, "No Hire". Se houver algo no candidato que o faça hesitar em contratá-lo para este projeto "No Hire"

— SingleNegationElimination

@TokenMacGuy Eu acho que a escola de pensamento deve ser chamado de "quase infinito tempo e recursos" escola :)

— joshin4colours

@Karl, você pode incorporar isso de volta à sua resposta?

O FizzBuzz não é sobre identificar bons programadores, é sobre eliminar maus / falsificadores. Se um candidato não pode passar no teste do FizzBuzz, não sabe como programar e não deve estar se candidatando a uma posição de programação.

— nicholaides
fonte