Como posso calcular a margem de erro em um resultado do NPS (Net Promoter Score)?

Vou deixar a Wikipedia explicar como o NPS é calculado:

A Pontuação do Promotor Líquido é obtida perguntando aos clientes uma única pergunta na escala de classificação de 0 a 10, em que 10 é "extremamente provável" e 0 é "quase impossível": "Qual a probabilidade de você recomendar nossa empresa a um amigo ou colega? " Com base em suas respostas, os clientes são classificados em um dos três grupos: Promotores (classificação de 9 a 10), Passivos (classificação de 7 a 8) e Detratores (classificação de 0 a 6). A porcentagem de Detratores é então subtraída da porcentagem de Promotores para obter uma pontuação de Promotor Líquido (NPS). O NPS pode ser tão baixo quanto -100 (todo mundo é um detrator) ou tão alto quanto +100 (todo mundo é um promotor).

Temos realizado essa pesquisa periodicamente por vários anos. Recebemos várias centenas de respostas de cada vez. A pontuação resultante variou de 20 a 30 pontos ao longo do tempo. Estou tentando descobrir quais movimentos de pontuação são significativos, se houver.

Se isso simplesmente for muito difícil, também estou interessado em tentar descobrir a margem de erro nos princípios básicos do cálculo. Qual é a margem de erro de cada "intervalo" (promotor, passivo, detrator)? Talvez até, qual é a margem de erro se eu apenas olhar para a média das pontuações, reduzindo os dados para apenas um número por pesquisa realizada? Isso me levaria a algum lugar?

Todas as idéias aqui são úteis. Exceto "não use NPS". Essa decisão está fora da minha capacidade de mudar!

— Dan Dunn
fonte

Respostas:

Suponha que a população, da qual assumimos que você está amostrando aleatoriamente, contenha proporções de promotores, de passivos de detratores, com . Para modelar o NPS, imagine encher um chapéu grande com um grande número de tickets (um para cada membro da sua população) rotulado de para promotores, para passivos e para detratores, nas proporções dadas, e depois desenhar deles aleatoriamente. O NPS de amostra é o valor médio dos tickets que foram sorteados. O verdadeiro NPS é calculado como o valor médio de todos os tickets do chapéu: é o $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ valor esperado (ou expectativa ) do chapéu.

Um bom estimador do NPS verdadeiro é o NPS de amostra. O NPS de amostra também tem uma expectativa. Pode ser considerada a média de todos os NPSs possíveis da amostra. Essa expectativa é igual ao NPS verdadeiro. O erro padrão do NPS da amostra é uma medida de quanto os NPS da amostra geralmente variam entre uma amostra aleatória e outra. Felizmente, não precisamos calcular todas as amostras possíveis para encontrar o SE: ele pode ser encontrado mais simplesmente calculando o desvio padrão dos tickets no chapéu e dividindo por . (Um pequeno ajuste pode ser feito quando a amostra é uma proporção considerável da população, mas não é provável que seja necessário aqui.) $\sqrt{n}$

Por exemplo, considere uma população de promotores, passivos detratores. O verdadeiro NPS é $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2 + 0 0 \times 1 / 3 + - 1 \times 1 / 6 = 1 / 3)

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

A variação é, portanto,

\begin{aligned} Var (NPS) & = (1 - NPS)^{2} \times p_{1} + (0 0 - NPS)^{2} \times p_{0 0} + (- 1 - NPS)^{2} \times p_{- 1} \\ = (1 - 1 / 3)^{2} \times 1 / 2 + (0 0 - 1 / 3)^{2} \times 1 / 3 + (- 1 - 1 / 3)^{2} \times 1 / 6 \\ = 5 / 9 \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

O desvio padrão é a raiz quadrada disso, aproximadamente igual a $0.75.$

Em uma amostra de, digamos, , você esperaria observar um NPS em torno de % com um erro padrão de cerca de %. $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

De fato, você não conhece o desvio padrão dos tickets no chapéu, portanto o estima usando o desvio padrão da sua amostra. Quando dividido pela raiz quadrada do tamanho da amostra, estima o erro padrão do NPS: essa estimativa é a margem de erro (MoE).

Desde que você observe números substanciais de cada tipo de cliente (normalmente, cerca de 5 ou mais de cada um), a distribuição do NPS de amostra será próxima de Normal. Isso implica que você pode interpretar o MoE da maneira usual. Em particular, cerca de 2/3 do tempo em que o NPS da amostra fica dentro de um MoE do NPS verdadeiro e cerca de 19/20 do tempo (95%) o NPS da amostra fica a dois MoEs do NPS verdadeiro. No exemplo, se a margem de erro realmente fosse de 4,1%, teríamos 95% de confiança de que o resultado da pesquisa (o NPS da amostra) está dentro de 8,2% do NPS da população.

$\sqrt{3.5^2+4.1^2}$

Ao comparar muitos resultados da pesquisa ao longo do tempo, métodos mais sofisticados podem ajudar, porque você precisa lidar com muitas margens de erro separadas. Quando as margens de erro são todas muito semelhantes, uma regra básica é considerar uma alteração de três ou mais MoEs como "significativa". Neste exemplo, se os MoEs pairarem em torno de 4%, uma mudança de cerca de 12% ou mais durante um período de várias pesquisas deverá chamar sua atenção e alterações menores poderão ser validamente descartadas como erro de pesquisa. Independentemente disso, as análises e regras práticas fornecidas aqui geralmente fornecem um bom começo para pensar sobre o que as diferenças entre as pesquisas podem significar.

$0$ $0$ $1/\sqrt{n}$ $n$

— whuber
fonte

Essa foi uma resposta fantástica. Eu aprecio muito isso.

— Dan Dunn

A "margem de erro" não é comumente interpretada como o intervalo de confiança de 95% para uma estatística extraída de uma amostra? isto é, aproximadamente 1,96 o erro padrão de amostragem (ou desvio padrão) dessa estatística. Você usa margem de erro como sinônimo de "desvio padrão da estatística" ou "erro padrão".

— Peter Ellis

Obrigado @whuber. Tento nunca discutir sobre a terminologia, desde que seja claramente definida (o princípio de Humpty Dumpty), e acho que o cavalo adotou uma convenção consistente sobre essa. A única evidência que tenho é uma resposta para minha própria pergunta em stats.stackexchange.com/questions/21139/… , que observa corretamente que a margem de erro é comumente (não universalmente) citada como uma porcentagem da estimativa.

— 31812 Peter Ellis

@ Charles, acho que o whuber está fazendo uma variação básica de uma variável aleatória discreta. Veja stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

— B_Miner

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

Você também pode usar o estimador de variância para variáveis contínuas. Na verdade, eu preferiria que o estimador de variância para a variável discreta aleatória, pois existe uma correção conhecida para calcular a variância da amostra: https://en.wikipedia.org/wiki/Unbially_estimation_of_standard_deviation Como outros observaram, a solução Whubers é baseado em fórmulas de população. No entanto, como você está executando uma pesquisa, tenho certeza de que você desenhou uma amostra, portanto, recomendo o uso do estimador imparcial (dividindo a soma dos quadrados por n-1, não apenas por n). Obviamente, para tamanhos de amostra grandes, a diferença entre o estimador enviesado e imparcial é praticamente inexistente.

Também recomendo usar um procedimento de teste t, se você tiver tamanhos médios de amostra, em vez de usar a abordagem do z-score: https://en.wikipedia.org/wiki/Student 's_t-test

@ whuber: já que outros perguntaram: como calcular o estimador de amostra imparcial para variância / sd para sua abordagem aleatória de variáveis discretas? Tentei encontrá-lo sozinho, mas não obtive sucesso. Obrigado.

— deschen
fonte

Você pode usar o bootstrap para simplificar seus cálculos. Em R o código seria:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

— k-zar
fonte

Você poderia expandir sua resposta explicando desde o início qual é a abordagem - com detalhes suficientes para que alguém que não entenda seu código R ainda possa seguir o que você está tentando dizer - e espero que seja possível dar uma facada em implementá-lo em seu idioma favorito?

— Glen_b -Reinstala Monica